연구진이 짧은 동영상 프레임 검색을 위한 새로운 벤치마크 SVFSearch를 공개했어요. 이 벤치마크는 중국 게임 분야의 짧은 동영상 캡처 프레임에 대한 4지선다형 문제 5,000개로 구성돼요.
SVFSearch는 시각적으로 모호한 프레임에 대한 답변에 필요한 전문적인 지식을 평가하는 데 중점을 둬요. 게임 관련 텍스트 코퍼스, 이미지 갤러리, 다양한 검색 인터페이스를 제공해 공정하고 재현 가능한 평가를 지원해요.
현재 모델은 시각적 정보 연결, 검색 품질, 근거 기반 추론, 도구 사용 등 여러 부분에서 어려움을 겪고 있으며, 최적의 에이전트는 오라클 지식의 79.1% 수준을 달성했어요.