연구진이 능동형 에이전트 평가를 위한 새로운 벤치마크 UniClawBench를 공개했어요. 기존 벤치마크의 한계를 극복하기 위해 5가지 핵심 역량 기반으로 400개의 실세계 작업을 설계했어요.
UniClawBench는 Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, Cross-Platform Coordination 역량을 평가하며, 단계별 완료 체크포인트를 통해 실시간 Docker 컨테이너 환경에서 에이전트를 평가해요.
기존 벤치마크와 달리, executor, supervisor, user 에이전트를 활용한 폐쇄 루프 평가 전략을 통해 실제 인간 피드백을 모방하고, 모델과 프레임워크 디자인의 영향을 분리했어요.
연구 결과, 모델 역량과 프레임워크 디자인이 실제 환경에서의 성능에 공동으로 영향을 미치는 것을 확인했으며, 벤치마크 코드와 데이터를 GitHub에서 공개했어요.