사용자가 llama.cpp 서버의 오프로딩 방식에 깊은 인상을 받았다고 밝혔습니다.
32GB VRAM을 보유하고 있지만, 더 큰 모델을 시스템 RAM에 오프로딩하며 성능 차이를 테스트하고 있습니다.
Qwen3 Coder Next 모델을 4-bit IQ4_XS 양자화로 테스트하며 36GB 모델을 30/32GB VRAM에 로드하고 있습니다.
RAM 사용량을 모니터링했지만, KDE5 위젯에서 llama.cpp의 작동 방식을 정확히 파악하지 못하고 있어 관련 자료를 찾고 있습니다.