Reddit 사용자가 PrismML의 1비트 Bonsai-8B 모델과 IBM Granite 모델을 CPU 환경에서 툴 호출 성능을 비교하는 벤치마크 결과를 공유했어요.
문법 제약 없이 raw 상태의 Bonsai-8B는 툴 호출에 0%의 성공률을 보였지만, 문법 제약이 적용될 경우 92%의 높은 성공률을 기록하며 Granite를 능가했어요.
이 결과는 1비트 모델이 제약 없이 에이전트 기능을 수행할 수 없다는 주장에 대한 반론이 될 수 있으며, 문법 제약을 통해 잠재력을 발휘할 수 있음을 시사해요.