PrismML-Eng에서 Binary 및 Ternary 모델의 최신 현황을 GitHub를 통해 공유했어요. Q1_0 버전은 llama.cpp에서 다양한 백엔드(CPU, Metal, CUDA, Vulkan)를 통해 지원됩니다.
Ternary 지원은 llama.cpp에 통합 중이며, 현재는 메인라인과 포크 바이너리를 혼합하여 사용해야 합니다. CPU 및 Metal은 메인라인에서 지원하며, Vulkan과 CUDA는 검토 중입니다.
Bonsai-27B는 에이전트 코딩에 취약하며, 향후 에이전트 코딩에 특화된 모델이 출시될 예정입니다. 현재 1비트 모델은 한계가 있으며, 품질 우선 시 Ternary GGUF 빌드를 권장합니다.