연구진이 능동형 에이전트 평가를 위한 새로운 벤치마크 UniClawBench를 공개했어요. 기존 벤치마크의 한계를 극복하기 위해 5가지 핵심 모델 역량 기반으로 설계됐어요.
UniClawBench는 Skill Usage, Exploration, Long-Context Reasoning, Multimodal Understanding, Cross-Platform Coordination 등 5가지 역량을 평가하며, 총 400개의 이중 언어 실제 환경 작업을 포함해요.
기존 벤치마크와 달리 UniClawBench는 실시간 Docker 컨테이너 환경에서 단계별 완료 체크포인트를 사용하며, 평가 과정에 executor, supervisor, user 에이전트를 활용해 현실적인 피드백을 모방해요.
연구진은 벤치마크 코드와 함께 공개하며, 향후 연구를 지원할 예정입니다.