llama.cpp에서 -ctk q8_0 -ctv q4_0와 같은 옵션을 사용하면 CUDA GPU가 아닌 CPU에서 프롬프트 처리가 진행됩니다. 이는 GPU 메모리 절약을 위해 자주 사용되는 조합이지만 성능 저하를 유발합니다. ggml-org/llama.cpp 저장소에서 비대칭 KV 캐시 양자화 조합을 컴파일 시 포함하는 방안이 논의 중이며, 이는 정밀도 손실을 최소화하면서 메모리 사용량을 절감할 수 있습니다.
sanmai라는 GitHub 사용자가 평가 결과, FA_ALL_QUANTS 옵션 없이도 비대칭 KV 캐시 양자화 조합을 컴파일에 포함하면 성능 향상을 기대할 수 있다고 제안했습니다. 이는 8/4 비트 양자화를 사용할 때 정밀도 손실이 1.3%에 불과하면서도 메모리 사용량을 절반 이상 줄일 수 있다는 점을 확인합니다.
GitHub 토론 페이지(https://github.com/ggml-org/llama.cpp/discussions/23470)에서 관련 내용과 평가 결과를 확인할 수 있습니다.