본 연구는 영어 외 다국어 환경에서 LLM 평가 모델 구축 전략을 분석했어요. 스페인어, 바스크어를 포함해 고·중·저 자원 언어 환경에서 LLM 평가 성능을 비교했어요. 적은 양의 데이터로도 성능이 우수한 모델을 만들 수 있지만, 데이터 부족 시 큰 모델의 zero-shot 평가가 효과적이에요.
instruction 번역, 단일 언어/다국어 학습, 모델 크기 등 다양한 요인이 다국어 LLM 평가 성능에 영향을 미치는 것을 확인했어요. 바스크어, 스페인어 평가 데이터셋을 확장해 성능을 측정하고, 관련 데이터와 코드를 공개했어요.