연구팀은 LLM 판사 점수가 응답 내용과 상관없이 판사 변경만으로도 변동하는 현상을 발견했어요. 이는 측정의 타당성 문제를 야기하며, 4개 데이터셋에서 Qwen3 판사를 1.7B에서 32B 파라미터로 확장하고 MiniMax M2-M2.7 API로 전환하는 두 가지 업그레이드 경로를 비교했어요. Qwen3 1.7B에서 4B로 확장하는 경우에만 안정적인 성능 향상을 확인했으며, MiniMax API 변경은 큰 효과가 없었어요.
강력한 판사는 위치 및 장황함 편향을 줄이지만 제거하지는 않으며, 오류가 상관관계를 가질 때 반복 샘플 심사는 큰 도움이 되지 않아요. 구조화된 토론은 결정에 큰 영향을 미칠 수 있지만, 파서 및 백업 로그 없이는 그 변화를 숙고로 인한 것인지 판단하기 어려워요.
연구팀은 LLM 판사 보고서에 데이터셋 슬라이스, 편향 테스트, 오류 의존성 추정치, 프로토콜 감사 로그를 포함해야 한다고 주장합니다.