연구진은 기존 벤치마크의 한계를 극복하기 위해 EvoBrowseComp라는 새로운 벤치마크를 공개했어요. EvoBrowseComp는 정적 지식이 아닌 실시간 웹 탐색을 통해 생성된 800개의 영어 및 중국어 복합 질문으로 구성돼요.
이 벤치마크는 QA 합성 에이전트, 정보 필터링 에이전트, 지침 에이전트의 협업 프레임워크를 통해 자동 업데이트가 가능하며, 데이터 오염을 방지하고 최신성을 유지해요.
실험 결과 EvoBrowseComp는 기존 벤치마크보다 훨씬 어렵고, 광범위한 수평 검색 능력을 요구하며, 지속적으로 업데이트되는 벤치마킹 패러다임을 제시해요.