AgentCompass는 LLM 기반 에이전트 평가를 위한 오픈소스 인프라를 공개했어요. 기존 평가 파이프라인의 단편화 문제를 해결하고 재현성과 효율성을 높이는 데 목표를 두고 있습니다. AgentCompass는 벤치마크, 하니스, 환경의 세 가지 독립적인 구성 요소로 평가 과정을 구성하여 유연한 설정을 지원합니다.
fault-tolerant 비동기 런타임과 trajectory 분석 도구를 통해 reward-hacking과 같은 미묘한 오류 모드를 진단할 수 있습니다. 5가지 능력 차원에서 20개 이상의 벤치마크를 기본적으로 지원합니다.
AgentCompass는 에이전트 연구 발전을 위한 확장 가능하고 재현 가능한 인프라를 커뮤니티에 제공하며, LLM 에이전트 연구의 효율성을 높이는 데 기여할 것으로 기대됩니다.