다국어 언어 모델은 여러 언어를 제한된 수의 토큰 단위로 표현하기 위해 공유 서브워드 어휘에 의존해요. 이 공유는 유용할 수 있지만, 언어 간 의미나 용법이 다를 때 동일한 표면 형태를 지나치게 균일하게 처리하는 문제를 야기할 수 있어요.
연구진은 토큰화 과정 초기에 언어 정보를 도입하면 이러한 문제를 개선할 수 있는지 조사하고, 언어 힌트를 기반으로 토큰화기 수준의 간단한 개입을 제안했어요.
실험 결과, 토큰화기 수준의 통계 분석에서 BPE와 UnigramLM은 교차 언어 동음이의어를 언어에 관계없이 처리하는 경향이 있는 반면, SaGe 토큰화기는 더욱 강하게 분기하며, 제안된 개입은 이 간극을 줄여요.