연구진이 PolyMath 데이터셋의 언어적 편향을 해소하기 위해 18개 저자원 언어를 추가한 PluraMath 데이터셋을 공개했어요. PluraMath는 다양한 언어 환경에서 27개의 LLM을 평가하여 고자원 언어와 저자원 언어 간의 수학적 추론 능력 격차를 확인했어요.
PluraMath 데이터셋은 원어민 검수 과정을 거쳐 제작되었으며, 데이터 획득 파이프라인과 평가 프레임워크를 공개하여 저자원 언어 커뮤니티의 다국어 벤치마크 개발을 지원해요.
분석 결과, LLM의 수학적 추론 성능은 언어 자원에 따라 큰 차이를 보이며, 특히 지시문 이해 능력과 밀접한 관련이 있는 것으로 나타났어요.