연구진이 방글라어 수학적 추론 능력을 평가하는 새로운 벤치마크 'GSM-Plus-BN'을 공개했어요. 이는 영어 외 저자원 언어인 방글라어 환경에서 AI 개발의 공정성을 높이기 위한 노력의 일환이에요.
GSM-Plus-BN은 영어 GSM-Plus 벤치마크를 기반으로 만들어졌으며, 인간 번역가가 검증한 9,000개의 평가 샘플로 구성돼 있어요. Qwen3-32B, Llama-3.3-70B 등 6개의 오픈소스 LLM을 평가했어요.
실험 결과, GPT-OSS-20B가 초기 질문에 대한 정확도가 96.08%로 가장 높았으며, CoT 프롬프팅은 대부분의 모델에서 추론 능력을 향상시켰지만, 영어 벤치마크와 비교했을 때 성능 격차가 여전히 존재했어요.