ztok은 다양한 토크나이저 포맷(tiktoken, Hugging Face, SentencePiece 등)을 지원하는 Zig 기반 토크나이저 라이브러리입니다.
단일 스레드에서는 기존 tiktoken 대비 약 2배, 배치 처리에서는 최대 5.5배 빠른 속도를 보여줍니다.
Python, Node.js, Ruby, Go, Rust, .NET, Java, Swift 등 8개 언어 바인딩을 제공하며, RAG chunking 및 데이터셋 토크나이저에 활용 가능합니다.