연구 개발자가 tiktoken과 완벽히 동일한 토큰 ID를 생성하는 C++ 기반 토크나이저 'quicktok'을 공개했어요.
quicktok은 기존 bpe-openai보다 2~3.6배 빠르고, tiktoken 자체보다 4~11배 빠른 속도를 자랑하며, cl100k, o200k, GPT-OSS, Llama-3, Qwen2.5/3 모델을 지원해요.
pip install quicktok-v1 명령어로 설치 가능하며, GitHub 저장소에서 추가 정보 확인 가능해요.