NVIDIA 연구진, 영상 캡션에 물리 추론을 더하는 Physis-Lang 공개

NVIDIA 연구진이 영상 캡션에 물리 추론을 더하는 개방형 자기 진화 프레임워크 Physis-Lang을 공개했다. 캡션은 장면이 왜, 어떻게 전개되는지를 설명하며, NVIDIA AI에 따르면 월드 모델을 미세 조정하는 데와 영상 생성 시 그 추론을 프롬프트에 추가하는 데 모두 사용된다.

NVIDIA AI는 물리 추론을 프롬프트에만 추가해도 재학습 없이 NVIDIA Cosmos 3의 PhyGenBench 점수가 5.62점 향상됐다고 밝혔다. Physis-Lang 논문과 프로젝트 페이지는 온라인에서 볼 수 있다.