Pulse · AI 뉴스

RTX 5080 + 32GB DDR4 환경에서 LLM 추론 성능 최적화

Qwen · 2026-07-07

사용자가 RTX 5080 + 32GB DDR4 환경에서 Qwen 3.6 27B 모델을 Q3KM으로 실행 시 60 tokens/s, 35B 모델을 IQ2로 실행 시 190 tokens/s 성능을 확인했어요.

Q3KM과 IQ2는 Q6에 비해 정확도가 낮아지는 trade-off 관계에 있어요.

1080 Ti를 tensor split에 활용하는 방안을 고려 중이며, 16GB 메모리 사용자들의 설정과 최적 성능에 대한 조언을 구하고 있어요.

##LLM##추론##최적화##RTX5080##Qwen
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기