사용자 hopbel이 Qwen3.6 27B 모델을 테스트하며 KV 캐시 양자화보다 모델 양자화가 성능에 더 큰 영향을 미친다는 결과를 발표했어요. 테스트는 llama-perplexity 도구를 사용해 wikitext-2 데이터셋으로 진행했으며, 컨텍스트 크기는 16,000 토큰으로 설정했어요. Q5 양자화 모델이 Q4 양자화 모델보다 더 나은 성능을 보였으며, 특히 Q5_K_M 모델이 가장 좋은 결과를 냈어요.
KV 캐시 양자화 방식에 따라 성능 차이가 발생하지만, 모델 양자화 레벨을 올리는 것이 더 효과적이라는 점이 확인됐어요. 예를 들어, Q5 양자화 모델은 Q4 양자화 모델보다 항상 더 나은 결과를 보였으며, q4_0 양자화 방식은 다른 방식보다 성능이 떨어지는 것으로 나타났어요.
테스트는 KLD (KL Divergence)를 근사적으로 계산했으며, 실제 KLD 값과 차이가 있을 수 있다는 한계가 있어요. 향후 더 많은 컴퓨팅 자원을 활용해 더 정확한 테스트를 진행하고, 다양한 데이터셋과 컨텍스트 크기를 활용한 추가 실험이 필요합니다.