연구진이 다양한 시나리오에서 에이전트 성능을 평가하는 벤치마크 'OmniaBench'를 공개했어요.
OmniaBench는 앱 스토어, 제품 문서 등에서 추출한 시나리오 지식을 기반으로 90개의 1단계, 354개의 2단계 도메인으로 구성된 계층적 분류 체계를 사용해요.
Claude Opus 5와 GPT-5.6-Sol은 OmniaBench에서 각각 58.54%, 57.14%의 낮은 Pass@1 점수를 기록하며, 계획, 제약 유지, 적응적 수정 능력의 한계를 드러냈어요.
OmniaBench는 에이전트의 능력 경계를 파악하고, 도메인 및 기능별 차이점을 분석하는 데 유용한 진단 벤치마크를 제공해요.