본 연구는 기존 LLM 평가 프레임워크가 실제 환경에서 발생하는 복합적인 오류, 도구 실패 연쇄, 비결정적 출력 드리프트 문제를 해결하지 못한다고 지적합니다.
연구진은 실제 에이전트 시스템의 실패 원인 7가지 분류 체계를 제시하고, ROUGE, BERTScore 등 기존 지표가 이러한 실패를 감지하는 데 한계가 있음을 실증적으로 보였습니다.
생산 트래픽에 대한 지속적인 평가를 위한 5차원 평가 프레임워크 PAEF를 제안하고, 오픈 소스 구현체를 공개하여 실제 에이전트 AI 시스템의 성능을 개선하고자 합니다.