Pulse · AI 뉴스

Qwen3.6 35B 모델, NVIDIA P40에서 80 토큰/초 속도로 구동

Qwen · 2026-07-16

사용자가 NVIDIA P40 GPU에서 Qwen3.6 35B 모델을 TurboQuant 방식으로 구동하며 80 토큰/초의 속도를 기록했어요. 100K 컨텍스트를 지원하며, 추론 성능을 위해 Reasoning 기능은 비활성화했어요. VRAM 확보를 위해 Vision 컴포넌트는 로드하지 않았으며, 더 많은 최적화 방법을 찾고 있어요.

##Qwen##llama.cpp##TurboQuant##NVIDIA##P40
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기