연구진이 비디오 모델의 인과 관계 학습 능력을 평가하는 새로운 벤치마크 CRONOS를 공개했어요. CRONOS는 시점, 장면, 객체 종류, 객체 외형 등 4가지 요소를 조작하며 물리적 사건의 예측 반응을 평가해요.
Unreal Engine 환경에서 제작된 CRONOS는 충돌, 가려짐, 낙하 등 물리적 사건 유형을 고정하고 요소를 변경해 모델의 예측 정확도를 측정해요.
최근 오픈소스 비디오 생성기 테스트 결과, 객체 외형, 환경, 특히 시점 변화에 따라 예측 품질이 저하되는 문제점이 발견됐어요.
CRONOS는 다양한 조건 변화에 따른 모델 성능을 진단하고, 일관성 있는 비디오 모델 개발을 위한 구체적인 목표를 제시합니다. 데이터셋과 코드는 프로젝트 페이지에서 확인할 수 있어요.