DeepSeek V4 Flash 모델이 4060ti와 CPU 환경에서 2MB/s에서 7MB/s로 속도가 3배 빨라졌어요.
AMD Ryzen 5 9600X CPU와 16GB VRAM을 사용하는 시스템에서 테스트 결과, llama.cpp의 업데이트로 성능이 크게 향상됐어요.
98GB 모델을 CPU로 생성하는 방식이 실용적인 수준에 근접하게 되면서, 더 큰 모델을 활용할 수 있는 가능성이 열렸어요.
fat_models.ini 설정 파일에서 flash-attn을 활성화하고 threads를 16으로 설정하는 등 다양한 최적화 작업이 진행된 것으로 확인돼요.