ggml-zendnn 프로젝트에서 Q8_0 양자화 지원이 추가되어 AMD EPYC CPU에서 Llama 모델의 프롬프트 처리 속도가 크게 향상됐어요.
특히 프롬프트 크기가 클수록 ZenDNN_Q8_0을 사용했을 때 90% 이상의 속도 향상을 보여줬으며, Mixtral-8x7B 모델에서 두드러진 성능 차이를 보였어요.
AMD는 ZenDNN을 통해 LLM 추론 성능을 최적화하고 있으며, 관련 정보는 AMD 개발자 웹사이트 및 GitHub 저장소에서 확인할 수 있어요.