ICAE-Bench는 코딩 에이전트의 인터랙티브 프로젝트 구축 능력을 평가하는 새로운 벤치마크입니다. 기존 벤치마크는 정적인 작업에 초점을 맞춘 반면, ICAE-Bench는 불명확한 제품 요구사항에서 시작하여 다양한 능력을 결합하여 작동하는 소프트웨어를 구축하는 에이전트를 평가합니다.
각 작업은 정확한 오픈소스 저장소에서 모호성을 유도하며, 사용자 에이전트는 숨겨진 제약 조건을 드러내면서 상호 작용을 보장합니다. ICAE-Bench는 기능적 정확성, 설계 품질, 상호 작용 품질 등 다차원 진단을 통해 오픈형 저장소를 공정하게 평가합니다.
ICAE-Bench는 사용자 에이전트 데이터 기반으로 고품질, 재현 가능한 사용자 시뮬레이션을 보장하며, 표준화된 블랙박스 테스트를 사용하여 기능적 정확성, 의미론적 유사성, 구조적 충실도, 설계 품질, 상호 작용 품질을 평가합니다.