사용자가 젯슨 오린 NX 16GB에 PrismML의 Bonsai 27B 모델을 로컬에서 구동하는 데 성공했어요. 1비트 양자화로 26.9B 파라미터, 262k 토큰 컨텍스트를 지원하며, 평균 20.7W, 최대 24.6W 전력 소비량을 보여요. Ollama를 사용할 수 없는 문제와 CUDA 빌드 시 OOM 문제를 해결하고, GitHub 레포지토리를 공개했어요.
영어 추론은 괜찮지만 한국어 출력이 제대로 되지 않는 한계가 있으며, 더 높은 품질을 원하면 ternary build를 사용할 수 있어요. 젯슨 오린 보드 사용자들의 성능 비교 및 ternary build 실행 경험 공유를 요청했어요.
GitHub 레포지토리를 통해 설정 방법, 벤치마크 결과, 실시간 토큰 생성 속도 GIF를 확인할 수 있어요. 젯슨 오린 NX 16GB에서 로컬 LLM 구동 가능성을 보여주는 사례로 주목받고 있어요.