EvoAgentBench는 에이전트의 자가 진화 능력 이전 벤치마크로, 웹 검색, 알고리즘 추론, 소프트웨어 엔지니어링, 지식 작업 등 4가지 영역을 다룹니다. 에이전트 실행 기록에서 'Ability'를 추출하여 그래프로 연결하고, 각 테스트 작업은 검증된 Ability 지원을 기반으로 합니다. 현재 자동화된 방법은 모든 환경에서 긍정적인 효과를 유지하지 못하고 있습니다.
EvoAgentBench는 경험 인코딩, 라우팅, 흡수 등 세부적인 진단을 통해 자가 진화 평가를 개선합니다. 528/267의 학습/테스트 데이터셋과 2개의 스캐폴드, 3개의 백본을 활용하여 모델 패밀리 간 Ability 콘텐츠가 안정적으로 이전되는 것을 확인했습니다. 벤치마크는 Hugging Face에서 공개되었습니다.
이번 벤치마크는 에이전트의 자가 진화 능력 이전 과정을 평가하고, 기존 벤치마크의 한계를 극복하여 에이전트 시스템의 성능 향상에 기여할 것으로 기대됩니다.