연구진이 LLM 에이전트 벤치마크의 예측 타당성을 분석하는 논문을 발표했어요. 14개의 병렬 구현 연구와 7개의 기존 벤치마크를 종합한 결과, 현재 리더보드는 실제 배포 환경을 제대로 반영하지 못하는 한계가 있어요. 예측 타당성, 즉 실제 성능과의 상관관계를 기준으로 에이전트 순위를 매길 것을 제안하며, HELM과 같은 기존 평가 방법의 한계를 지적했어요.
연구진은 새로운 평가 방법론을 통해 에이전트의 배포 관련 성능을 측정하고, 기존 벤치마크의 순위가 실제 환경에서 불안정하다는 증거를 제시했어요. 예측 타당성을 측정하기 위한 세 가지 기준을 제시하고, 이를 통해 12단계 측정 장치를 개발했어요.
향후 에이전트 벤치마크는 예측 타당성을 중심으로 설계되어야 하며, 이를 위한 파일럿 디자인과 비전을 제시하며 논문을 마무리했어요.