연구진은 LLM 평가에서 위치 편향을 측정하는 기존 방식의 한계를 지적하며, inspect_permute라는 새로운 도구를 공개했어요.
inspect_permute는 각 질문에 대해 답변 순서를 모두 변경하여 위치 편향을 분석하고, 통계적 유의성을 검증하는 기능을 제공해요.
실험 결과, 위치 편향은 약 60~95%의 정확도 구간에서만 통계적으로 검출 가능했으며, 이 구간은 처리량 지배 또는 콘텐츠 모호성으로 나뉘었어요.
연구는 표준 MMLU가 모든 최첨단 모델을 검출 불가능 영역에 위치하게 하므로, 신호 부재는 편향되지 않았다는 의미가 아니라 측정할 수 없다는 의미로 해석해야 한다고 강조했어요.