연구진이 다중 시점 스포츠 영상 이해 벤치마크 SportMV-Bench를 새롭게 구축했어요. SportMV-Bench는 심판처럼 다중 시점 정보를 활용하는 능력을 평가하며, 총 787개의 영상 번들, 2592개의 질문-답변 쌍을 포함하고 있어요.
현재 MLLM은 다중 시점 정보를 효과적으로 활용하지 못하며, 시각적 인식과 시점 선택에 어려움을 겪는다는 분석 결과가 나왔어요.
SportMV-Agent 프레임워크를 통해 다중 시점 정보를 활용하는 능력을 14.46% 향상시켜 기존 MLLM의 한계를 극복했어요.