다국어 LLM 평가 모델이 언어별로 편향된 점수를 매긴다는 연구 결과가 발표됐어요.
23개 언어의 동일한 instruction-response 쌍을 비교한 결과, 평가 모델은 언어 자원이 적은 언어에 더 높은 점수를 부여하는 경향을 보였어요.
pairwise 정확도는 90% 이상으로 높게 나타났지만, 언어별 수용률 차이는 최대 43%까지 나타나 안전 필터를 통과하는 유해 콘텐츠의 위험을 높일 수 있어요.
모델의 불확실성이 편향에 영향을 미치지만, 언어 식별을 회피할 수 있는 code-switched 프롬프트로 인해 언어별 임계값을 적용하기는 어려워요.