DeepSeek v4 Flash 모델이 llama.cpp 업데이트로 사용성이 높아졌어요. 사용자는 5090 GPU에서 100만 토큰 컨텍스트로 모델을 실행하고 성능을 공유했어요. Prefill 속도는 초당 650~700 토큰, Decode 속도는 초당 17 토큰으로 측정됐어요.
llama.cpp 설정에서 블록 레이어의 가중치를 CUDA로 오버라이드하고, 캐시 유형을 Q8로 설정하는 등 다양한 옵션을 사용했어요. 현재 Qwen 모델만큼 빠르진 않지만 llama.cpp 최적화 여지가 있다고 언급했어요.
모델 로딩 시간은 32초로 측정됐으며, 사용자는 GitHub에서 관련 모델을 다운로드할 수 있어요.