연구진이 전략적 비디오 지능(SVI) 평가를 위한 대규모 벤치마크 SVI-Bench를 공개했어요. SVI-Bench는 실제 다중 에이전트 상호작용 복잡성과 검증 가능성을 결합한 팀 스포츠를 활용해요.
SVI-Bench는 농구, 축구, 하키 경기 영상 35,000시간, 1500만 건의 액션, 15,000시간의 전문가 해설 등을 포함하고 있어요.
SVI-Bench는 장면 이해, 인과 추론, 전략 시뮬레이션, 에이전트 합성의 4가지 영역으로 평가하며, 현재 모델은 인지 수준이 높아질수록 성능이 급격히 저하돼요.
에이전트 관련 작업은 가장 어렵고, 최고 성능 모델도 180만 개의 클립으로 구성된 데이터에서 증거를 수집하고 통합하는 데 5%의 정확도에 그쳤어요.