최신 연구에 따르면 LLM은 서구 문화를 과도하게 반영하고 다른 문화를 소외하는 경향이 있어요. 연구진은 사용자의 문화적 배경에 따른 지역 측정 단위 사용을 평가하여 LLM의 문화적 응답 적응 능력에 미치는 영향을 조사했어요. CAPRI 데이터셋을 통해 LLM이 문화적 배경을 추론하고 관련 규칙을 기억하지만, 명시적으로 순차적 작업을 요청하지 않으면 문화적 관습에 맞춰 답변을 조정하는 데 실패하는 것을 확인했어요.
시간 및 수량 표현 해석에 대한 적응력을 평가한 결과, 문화적 단서가 누적될수록 모델의 답변이 적응하는 경향이 있지만, 모델의 출신 국가와 일치하는 문화적 편향이 존재했어요. CAPRI 데이터셋은 문화적 지식과 문화적으로 적응적인 언어 생성 간의 격차를 좁히는 데 기여할 수 있을 거예요.
전반적으로 LLM은 문화적 지식을 활용하여 답변을 생성하는 데 어려움을 겪고 있으며, CAPRI 데이터셋은 이러한 문제를 해결하기 위한 연구에 활용될 수 있을 거예요.