연구진은 LLM 심판관의 편향성을 인식하고 이를 보정하는 새로운 베이지안 능동 순위 기법을 개발했어요.
개발된 기법은 LLM 심판관의 편향(verbosity, 위치 효과)을 모델링하고, 상위 k 항목의 membership 불확실성을 최소화하는 능동 비교 규칙을 사용해요.
실험 결과, 제안 기법은 기존 방식보다 적은 비교 횟수로 상위 k 항목을 정확하게 식별했으며, 저가형 LLM 심판관의 편향을 효과적으로 보정했어요.
Claude Opus, Gemini, DeepSeek 등 다양한 LLM을 활용한 실험에서, 편향이 적은 최신 LLM에서는 편향 인식 모델링의 효과가 미미했어요.