연구진이 짧은 동영상에서 숨겨진 메시지 이해를 평가하는 벤치마크 VidMsg를 공개했어요. VidMsg는 YouTube에서 가져온 400개의 짧은 동영상 클립으로 구성되며, 9가지 주제 영역과 52가지 세부 메시지를 포함하고 있어요.
VidMsg는 LLM이 메시지를 간접적인 검색 시나리오로 변환하는 방식으로 구축되었으며, 인간 주석자가 의도된 메시지를 명시적으로 전달하지 않는 클립을 유지해요.
VidMsg는 동영상 검색 및 추천 시스템에 적합하며, 동영상 이해를 위한 양방향 메시지-클립 검색을 지원해요. 또한, 모델이 클립의 의도된 메시지를 선택하는 다중 선택 QA 벤치마크도 포함돼요.
최신 동영상-언어 및 검색 모델은 실질적인 추론, 문맥 힌트 통합, 의미적으로 유사한 메시지 구별이 필요하기 때문에 VidMsg에서 어려움을 겪는 것으로 나타났어요.