Liquid AI가 LFM2.5-8B-A1B 모델의 토크나이저를 65K에서 128K로 확장하는 방법을 공개했어요. 사전 학습된 모델의 토크나이저를 처음부터 다시 학습하지 않고 실시간으로 업그레이드하는 방식입니다. 기존 토크나이저가 세분화하여 분리하는 언어 문제를 해결하기 위해 어휘 크기를 두 배로 늘렸으며