연구진이 사전 훈련된 LLM의 토크나이저를 확장하는 새로운 방법을 제시했어요. 이 방법은 기존 토크나이저의 BPE 병합을 다국어 코퍼스에 적용하여 대부분의 토큰을 그대로 유지하고 새로운 토큰은 소스 토큰으로 정확하게 분해해요.
LFM2-8B-A1B 모델을 기반으로 LFM2.5-8B-A1B를 제작해 128K 토크나이저를 적용했는데, 힌디어와 베트남어의 토큰 수를 각각 2.4배, 2.6배 줄였고 태국어는 최대 4배까지 감소시켰어요.
확장된 토크나이저를 사용했을 때, 디코딩 속도가 문자 기준 2.2배에서 3.7배까지 향상될 것으로 추정돼요. 모델 가중치와 확장된 토크나이저를 공개했으며, 레시피 개발 과정에서 얻은 부정적인 결과도 함께 공유했어요.