LLM-as-a-Judge가 기존 평가 방식의 한계와 인간 평가와의 높은 상관성 때문에 자연어 생성 작업 평가의 주류로 자리 잡았지만, 주로 영어 환경에서 활용돼 왔어요.
저자원 언어 환경으로 LLM-as-a-Judge를 확장하려는 시도가 있지만, LLM의 낮은 언어 능력과 인간 검증 부족 문제가 존재해요.
ACL Anthology 논문 분석 결과, 다국어 환경에서 LLM 판단을 과신하고 단일 모델에 의존하는 경향이 있으며, 평가 결과의 일관성 부족 문제도 확인돼요.