Deepseek가 V4 Flash 모델의 2, 3, 4비트 GGUF 버전을 공개했어요. 이 모델들은 CPU 환경에서도 효율적으로 실행될 수 있도록 최적화됐어요. 사용자는 Hugging Face에서 모델을 다운로드하여 사용할 수 있어요.
V4 Flash는 70B 파라미터 모델로, 다양한 벤치마크에서 뛰어난 성능을 보여줘요. 특히 한국어 이해 능력과 코딩 능력이 향상됐다고 Deepseek는 밝혔어요.
GGUF 형식은 CPU 기반 로컬 환경에서 LLM을 실행하는 데 적합하며, 더 낮은 사양의 하드웨어에서도 모델을 활용할 수 있도록 지원해요.