Reddit 사용자가 KL 발산(KLD)과 같은 지표가 양자화 모델 성능을 정확하게 평가하는 데 한계가 있다고 분석했습니다. 특히 양자화 정도가 미미한 경우, KLD는 모델 간 순위를 제대로 구분하지 못합니다.
연구에 따르면 KLD는 ‘침묵 영역’과 ‘손실 영역’으로 나뉘며, 침묵 영역에서는 KLD와 실제 모델 품질 간 연관성이 거의 없습니다. KLD는 단순히 분포 차이를 측정할 뿐, 변화의 방향을 파악하지 못합니다.
BPW(Bytes Per Weight) 역시 모델 크기를 추정하는 데 유용하지만, 비슷한 크기의 양자화 모델 순위를 매기는 데는 신뢰성이 떨어집니다. 연구 결과는 GitHub에 공개되었으며