연구진이 PolyMath 데이터셋의 언어적 편향을 해소하기 위해 18개 언어(저자원~극저자원)를 추가한 PluraMath 데이터셋을 공개했어요.
PluraMath를 활용해 27개의 추론 LLM을 평가한 결과, 고자원 언어와 저자원 언어 간의 수학적 추론 성능 격차가 여전하며, 모델의 instruction-following 능력과 성능이 연관성이 높다는 것을 확인했어요.
PluraMath 데이터셋, 데이터 획득 파이프라인, 평가 프레임워크를 공개하여 저자원 언어 커뮤니티의 다국어 벤치마크 개발 장벽을 낮추는 것을 목표로 해요.