Pulse · AI 뉴스

16GB M3 맥북 에어에서 Qwen 35BA3B 9TPS 달성!

Qwen · 2026-05-01

사용자가 16GB M3 맥북 에어에서 Qwen 35BA3B 모델을 mmap 방식으로 실행하여 9TPS를 달성했어요.

모델 다운로드 후 llama-server 명령어를 통해 실행하며, mmap 옵션과 캐시 타입을 조정하여 성능을 높였어요.

API 또는 llama.cpp 웹UI를 통해 모델을 사용할 수 있으며, 더 나은 성능 향상을 위한 추가적인 팁을 공유하고 싶다고 밝혔어요.

##Qwen##llama.cpp##mmap##맥북##성능
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기