연구진이 다국어 모델의 문화적 이해도를 평가하는 MSQA 벤치마크를 공개했어요. MSQA는 11개 언어 그룹, 5가지 문화 차원, 3단계 난이도를 반영한 1,064개의 질문으로 구성돼요. 18개 LLM을 평가한 결과, 문화적 이해도 저하와 지역성 효과가 뚜렷하게 나타났어요.
문화적 이해도는 일반적인 추론 능력보다 사전 학습 데이터에 더 밀접하게 연관돼 있으며, 기존의 추론 시간 개선 방법으로는 이 문제를 해결하기 어려워요. 모델은 익숙하지 않은 문화적 질문에 대해 과신하는 경향이 있으며, 반복 샘플링은 신뢰성 있는 정확도를 보장하지 않아요.