연구진은 LLM 품질 추정 시 발생하는 선택 편향 문제를 해결하기 위해 다중 에이전트 계층적 베이지안 파이프라인을 제안했습니다. 이 방법은 개별 상호 작용에 대한 ground-truth 레이블이 필요하지 않습니다.
토픽 클러스터링 에이전트, 편향 모델링 에이전트, 합성 에이전트의 세 단계로 구성되며, 각 에이전트는 특정 역할을 수행하여 편향을 줄이고 품질을 추정합니다.
실험 결과, 채널 사전 정보가 없을 경우 모델이 실제 품질에서 22~33pp나 벗어나는 반면, 사전 정보가 있을 경우 4~13pp 이내로 성능이 향상되었습니다.