AgentLens는 코드 에이전트의 상호작용 트래jectory를 평가하는 새로운 벤치마크입니다. 기존 벤치마크는 작업 성공 여부만 판단하지만, AgentLens는 에이전트의 지시 수행, 도구 사용, 자체 검증, 오류 복구, 사용자 소통 등 전체 과정을 평가합니다.
AgentLens는 공식 검증과 LLM이 작성한 트래jectory 리뷰, 비교 평가를 결합하여 각 실행 결과를 읽기 쉬운 설명과 함께 제공합니다.
연구팀은 AgentLens를 모델 진단, 버전 비교, nightly 평가 파이프라인에서 활용하고 있으며, 오픈 소스로 공개했습니다.