사용자가 RTX 5070 Laptop에서 Ternary-Bonsai-27B (2-bit)와 Bonsai-27B (1-bit) 모델을 Terminal-Bench 2.0에서 테스트했어요. 2-bit 모델은 7.9% 점수를 기록했고, 1-bit 모델은 실행 불가능했어요. 2-bit 모델은 9B 모델보다 성능이 낮았지만, 8GB VRAM에 모두 들어갔어요.
Ternary-Bonsai-27B (2-bit)는 89개 작업 모두에서 도구 호출을 깨끗하게 처리했지만, 정확도는 9B 모델보다 낮았어요. 1-bit 모델은 에이전트 하니스에서 사용 불가능하며, 간단한 프롬프트에서는 작동하지만 에이전트 루프에서는 종료되지 않는 문제가 발생했어요.
1-bit 모델은 간단한 프롬프트에서는 작동하지만, 에이전트 하니스에서는 32K 컨텍스트를 모두 소모하며 종료되지 않는 문제를 보여줬어요. 사용자는 더 자세한 수치 공유 의사를 밝혔어요.