사용자가 Qwen3.6 27B 모델의 다양한 양자화 방식(Unsloth, mradermacher, IQ4_XS 등)을 벤치마크하여 KLD(KL Divergence)와 Same Top P Percentage를 측정했어요.
Q8 양자화는 손실이 거의 없으며, Q4는 VRAM 제약이 있는 환경에서 좋은 품질과 VRAM 사용량의 균형을 제공해요. Q3 이하 양자화는 품질 저하가 심각해요.
mradermacher의 Q6_K 양자화는 KLD가 가장 낮고, Unsloth의 Q5_K_M은 5비트 양자화에서 좋은 성능을 보여줘요.