GigaToken은 CPU 기반 언어 모델 토큰화를 최대 1000배 가속하는 새로운 도구입니다. Tiktoken과 Hugging Face Tokenizers를 대체할 수 있으며, 다양한 CPU와 토크나이저를 지원합니다. SIMD 최적화와 캐싱 기술을 통해 텍스트를 GB/s 단위로 처리할 수 있습니다.
GigaToken은 정규식 엔진이 담당하던 사전 토큰화를 SIMD로 최적화하여 분기, 스레드 통신, Python 상호작용을 줄입니다. 또한 이전에 본 단어의 토큰 매핑을 효율적으로 캐싱하여 성능을 향상시킵니다.