연구팀이 Gigatoken이라는 새로운 오픈소스 토크나이저를 공개했어요. 이 토크나이저는 Tiktoken보다 최대 1000배, Hugging Face 토크나이저보다 최대 500배 빠른 속도를 자랑해요.
Gigatoken은 C++로 구현되었으며, 다양한 언어와 모델에 적용 가능하도록 설계됐어요. 현재 GitHub에서 소스 코드를 확인할 수 있으며, 커뮤니티 기여를 환영하고 있어요. 향후 LLM 개발 비용 절감 및 속도 향상에 기여할 것으로 예상돼요.