Pulse · AI 뉴스

Qwen 3.6 35B, RTX 3080 10GB 환경에서 1400t/s 성능 기록

Qwen · 2026-06-05

사용자가 RTX 3080 10GB, Ryzen 7 7700x, 32GB DDR5 환경에서 Qwen 3.6 35B 모델을 실행했어요.

ik_llamacpp cuda 엔진을 사용해 131072 컨텍스트 크기에서 pp 1400t/s, tg 26t/s 성능을 기록했어요.

KV 캐시를 GPU로 오프로딩하면 더 빠른 속도가 나오지만, 컨텍스트 크기가 줄어드는 문제가 있어 현재 설정이 최적이라고 판단해요.

##Qwen##RTX3080##LLaMAcpp
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기