연구진은 다중 턴 대화에서 질문과 관련된 새로운 정보를 얼마나 쌓아 올리는지 측정하는 '의미적 진행'이라는 개념을 정의했어요. 이 개념을 질문 기반 불확실성 감소로 공식화하고, 임베딩 공간에서 이를 근사하는 정보 이론 기반의 지표를 제시했어요.
제안된 지표는 이론적으로 단조 증가, 총 정보 획득의 가법성, 중복 증거에 대한 감소 효과와 같은 바람직한 특성을 갖도록 설계됐어요. 기존 LLM 평가 방식과 달리 추론 과정이 필요 없어 재현 가능성이 높고, CPU 환경에서도 가벼운 임베딩 모델로도 효과적이에요.
MT-Bench, Chatbot Arena, UltraFeedback 데이터셋 실험 결과, 제안된 지표는 인간 평가와 경쟁력 있는 합의도를 보였으며, 특히 MT-Bench와 UltraFeedback에서 LLM 기반 평가보다 더 나은 성능을 보여줬어요.