연구진이 베트남 소수 민족 언어(Cham, Khmer, Tay-Nung)를 위한 최초의 코퍼스 CKTN을 공개했어요. 이 코퍼스는 44,367개의 문서, 2400만 개의 서브워드 토큰으로 구성돼요. 기존 다국어 인코더는 이 언어들을 분리하는 문제를 겪으며, 단순한 어휘 일치 기반 평가 지표는 성능을 오도할 수 있어요.
CKTN 코퍼스를 활용해 스크립트 인지적 적응 레시피를 개발했는데, 이는 어휘 증강과 교체 토큰 사전 훈련을 결합하여 스크립트 불일치로 인한 오류를 방지해요. 결과적으로 언어 분절 현상이 줄고 분류 성능이 향상됐어요.
연구 결과, 어휘 일치 기반 검색은 평가 신호로 신뢰할 수 없으며, 더 나은 성능을 위해서는 스크립트 인지적 적응이 필요하다는 점을 보여줬어요.