Ternary Bonsai 모델 지원을 위해 llama.cpp 프로젝트가 Q2_0 양자화 기능을 추가했어요. 이 기능은 CPU 환경에서 ARM NEON 및 일반 스칼라 백폴을 지원하며, x86, Metal, CUDA, Vulkan 백엔드도 곧 출시될 예정이에요. Q1_0, Q2_0, Q4_0, Q8_0 양자화 패밀리가 완성됐습니다.
Ternary Bonsai 모델은 1.7B, 4B, 8B 크기로 제공되며, Hugging Face 컬렉션에서 관련 정보를 확인할 수 있어요.