연구진은 토크나이저 구축을 선형 계획법 문제로 정의하고 볼록 최적화 기법을 적용하여 ConvexTok이라는 새로운 알고리즘을 개발했어요. ConvexTok은 기존 토크나이저 대비 내재적 토크나이저 지표와 언어 모델의 BpB (bits-per-byte) 성능을 개선합니다. 또한, 사용자는 특정 목표에 대한 토크나이저의 최적성 거리를 하한 경계를 통해 인증할 수 있어요.