연구 에이전트가 복잡한 정보 검색 작업을 자동화하면서 LLM 심판을 활용한 평가 방식이 주목받고 있어요.
기존 LLM 심판 평가 방식은 주관적인 인간 선호도에 의존하거나 단순 작업에 집중하는 한계가 있었어요.
REFLECT 벤치마크는 LLM 심판의 미세한 오류를 탐지하기 위해 설계되었으며, 현재 LLM 심판은 정확도가 55% 미만으로 신뢰성이 부족한 것으로 나타났어요.
연구팀은 REFLECT를 통해 LLM 심판의 한계를 밝히고, 더 신뢰할 수 있는 평가 파이프라인 구축을 위한 지침을 제시했어요.