Reddit 사용자가 Ryzen 7 7800X3D와 RTX 3080 2개로 DeepSeek V4 Flash Q2 GGUF 모델을 구동하는 데 성공했어요. llama.cpp 포크를 활용해 KV 캐시 양자화 시 출력 문제를 해결하고 17tk/s 생성 속도와 270tk/s 프리필 속도를 달성했어요. VRAM 할당 편향을 GPU 0으로 설정해 OOM 오류를 해결했으며, 128k 컨텍스트에서 이 성능을 확인했어요.
GPU 0에 VRAM 할당 편향을 설정하지 않으면 OOM 오류가 발생했으나, `-ts 130,43` 옵션을 통해 해결했어요. 이 설정은 64GB DDR5 메모리와 2개의 RTX 3080 20GB를 활용해 최적의 성능을 끌어냈습니다.
Reddit 사용자는 더 많은 최적화 가능성이 있다고 언급하며, 현재 하드웨어 구성으로도 훌륭한 성능을 보여주고 있다고 평가했어요.