연구팀은 영상의 숨겨진 의미를 파악하는 모델의 능력을 평가하는 새로운 벤치마크 'ViMU'를 공개했어요. ViMU는 객체 인식, 행동 파악 등 단순 시각 정보 이해를 넘어 비유, 아이러니, 사회적 의미를 추론하는 능력을 평가합니다. 모델이 영상의 맥락과 스타일, 사회적 경험을 바탕으로 숨겨진 의미를 파악하는지 확인하는 것이 목표입니다.
ViMU는 모델이 다국어 증거를 기반으로 열린 질문과 객관식 질문에 답하도록 설계되었으며, 핵심 증거가 모델에게 미리 노출되지 않도록 힌트 없는 방식으로 진행돼요. 이를 통해 모델이 영상의 표면적인 내용뿐 아니라 숨겨진 의미를 얼마나 잘 이해하는지 측정할 수 있습니다.
연구팀은 ViMU를 통해 기존 영상 이해 모델의 한계를 극복하고, 영상의 복합적인 의미를 더 정확하게 이해할 수 있는 모델 개발에 기여할 것으로 기대하고 있습니다.