연구진이 22개 언어에서 LLM의 불확실성 추정(UE) 성능을 대규모로 평가했어요. 영어 추론 프롬프트가 저자원 언어의 UE 성능을 향상시키고, 언어 간 격차를 줄이는 것으로 나타났어요. 모델 규모에 따라 UE 방법 선택이 달라야 하며, 소규모 모델은 개방형 확률 기반 방법이, 대규모 모델은 폐쇄형 자기 발화 불확실성이 우수해요.
연구 결과, 저자원 언어의 질문 이해는 원활하지만 생성 과정에 어려움이 있는 것으로 확인됐어요. 영어 추론 프롬프트는 저자원 언어의 UE 성능을 향상시키고, 언어 간 격차를 줄이는 효과가 있었어요. 모델 규모에 따라 최적의 UE 방법이 달라지며, 소규모 모델은 개방형 방법, 대규모 모델은 폐쇄형 방법이 더 효과적이었어요.
선택적 예측을 위한 임계값 선택 분석을 제공하여 다국어 환경에서 LLM의 신뢰성을 높이는 방법을 제시했어요. 기존 LLM-as-a-judge 및 임베딩 기반 점수 방식의 평가 오류를 피하기 위해 인간이 직접 큐레이션한 Q&A 데이터셋을 사용했어요.