Bonsai LM의 1비트 및 1.58비트 LLM 모델을 젯슨 오린 나노 슈퍼에서 벤치마킹한 결과, 25W가 모든 모델에서 에너지 효율적인 성능을 제공하는 것으로 나타났어요.
Bonsai-8B 모델의 경우, 15W와 25W 전력에서 거의 동일한 토큰/J 출력을 보여주며, 15W가 더 에너지 효율적인 선택이에요.
Ternary-Bonsai-1.7B Q2_0 모델은 25W에서 최대 38.4 tok/s를 달성하며, 0.24s TTFT를 보여줘 실시간으로 유창한 생성이 가능해요.