연구진이 영화 제작 전문가와 협력해 AI 영상 생성 품질을 평가하는 새로운 벤치마크 FilmBench를 공개했어요.
FilmBench는 기존 벤치마크와 달리 실제 영화 클립을 기반으로 한 프롬프트를 사용하고, 전문적인 영화 언어 기준에 따른 3단계 평가 시스템을 도입했어요.
FilmBench를 통해 현재 AI 모델들은 역동적인 미적 감각과 멀티샷 생성 능력에서 한계를 드러냈으며, 이는 향후 AI 영상 생성 모델 개발 방향을 제시할 것으로 보입니다.
연구진은 FilmOps라는 자동 평가 에이전트를 개발하고 핵심 기능을 공개하여, AI 영상 생성 모델의 품질 평가 기준을 높이는 데 기여할 것으로 기대됩니다.