Pulse · AI 뉴스

아이폰에서 로컬로 Bonsai 27B 실행 - 3.9GB 용량의 27B 모델

Bonsai · 2026-07-17

PrismML이 Qwen3.6-27B를 기반으로 Bonsai를 구축하고 가중치를 1비트로 양자화하여 아이폰에서 실행 가능한 3.9GB 용량의 모델을 만들었어요.

15개 벤치마크에서 평균 76.1점을 기록하며 FP16 모델 대비 89.5%의 성능을 유지하며, 특히 수학 성능은 91.7점으로 높게 나타났어요.

아이폰 15 Pro Max(8GB RAM)에서 Atomic Chat을 통해 실행 가능하며, 4K 컨텍스트 시 5.2GB, 100K 컨텍스트 시 6.8GB의 메모리를 사용해요.

##모델출시##양자화##아이폰
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기