본문은 조건부 로그 확률로 후보 완성을 순위화하는 객관식 벤치마크의 길이 편향 문제를 다루고 있어요. 길이 편향을 완화하기 위해 점수를 길이로 정규화하는 방법이 흔히 사용되지만, 실제로는 더 긴 답변에 편향을 초래할 수 있어요.
연구진은 표준 및 길이 정규화 정확도가 적절한 시점과 길이 편향이 완성을 길이 분포에 따라 어떻게 달라지는지 분석하고, 답변 길이에 대한 사전 분포를 명시적으로 고려하는 베이지안 정확도라는 새로운 점수 규칙을 도입했어요.
베이지안 정확도는 기존 likelihood 기반 객관식 평가를 대체하며 추가적인 순방향 패스가 필요 없고, 벤치마크 및 few-shot 환경에서 표준 및 길이 정규화 정확도보다 경험적으로 길이 편향이 낮다는 것을 보여줬어요.