연구진이 LLM의 한자 읽기 및 음운 이해를 평가하는 벤치마크인 YOMI-Bench를 제안했어요. 일본어는 한 글자가 여러 읽기를 가질 수 있어 표면 텍스트만으로는 정확한 읽기를 추론하기 어려워요. YOMI-Bench는 한자 읽기 성능을 평가하기 위해 특별히 설계된 4가지 작업으로 구성돼 있어요.
YOMI-Bench 평가 결과, 일본어 특화 모델조차 낮은 성능을 보였고, 상용 모델도 한자 읽기를 고려해야 하는 생성 작업에서 부진했어요. 다국어 모델 1개, 일본어 특화 모델 4개, 상용 모델 5개를 평가했어요.
연구진은 YOMI-Bench를 통해 LLM이 일본어 한자 읽기에서 여전히 어려움을 겪고 있음을 확인했어요. 향후 LLM 성능 개선을 위한 연구 방향을 제시합니다.