LocalLLaMA가 에이전트 활용 환경 평가를 위한 개인용 평가 도구 'eval-harness'를 공개했어요. 이 도구는 모델 성능뿐 아니라 에이전트 활용 환경의 효율성까지 평가하는 데 중점을 두고 설계됐어요. Google 연구 결과처럼 에이전트 환경이 전체 성능에 미치는 영향이 크다는 점을 고려했어요. GitHub 저장소를 통해 공개되었으며, 사용자는 이 도구를 활용해 모델과 에이전트 조합을 최적화할 수 있어요.
현재 Qwen3.6-27B 모델을 사용 중인데, 클라우드 모델로 전환할 시점을 판단하기 위해 이 도구를 활용할 계획이에요. 에이전트가 생성한 평가의 신뢰성을 높이기 위해 패턴을 따르도록 유도하고, 문제 해결에 어려움을 겪는 에이전트의 평가를 즉시 생성할 수 있도록 하는 기능도 고려 중이에요.
이 도구는 모델 성능 평가뿐 아니라, 에이전트가 스스로 평가를 생성하는 능력도 테스트하는 데 사용될 수 있어요. deepeval과 같은 기존 프레임워크를 참고하여 제작되었으며, 사용자의 피드백을 통해 개선될 예정이에요.