AgentCompass는 LLM 기반 에이전트 평가를 위한 오픈소스 인프라입니다. 기존 평가 파이프라인의 단편화 문제를 해결하고 재현성을 높이는 데 목표를 둡니다.
Benchmark, Harness, Environment의 세 가지 독립적인 구성 요소로 평가 과정을 구성하여 유연한 설정이 가능하며 복잡한 실행 로직 재구현을 방지합니다.
20개 이상의 벤치마크를 지원하며, 오류 진단을 위한 trajectory 분석 도구를 제공하여 reward-hacking과 같은 미묘한 오류 모드를 투명하게 진단합니다.