사용자가 다양한 양자화 수준에서 모델의 기능별 성능을 테스트한 결과, 양자화 수준에 따라 수학, 코딩, 추론, 지식 기억 능력의 성능 저하 정도가 다르게 나타났습니다. 예를 들어, 특정 27B 모델에서 Q4_K_M은 대화형/지식 작업에서는 성능 저하가 거의 없지만 다단계 수학 정확도는 FP16에 비해 9% 가까이 떨어졌습니다. Q5_K_M은 수학 성능 격차를 거의 해소했습니다.
양자화 모델이 컨텍스트 윈도우가 채워질수록 컨텍스트 검색 정확도를 더 빠르게 잃는지에 대한 체계적인 테스트가 필요합니다. Q4 모델이 FP16 모델보다 낮은 컨텍스트에서 환각 현상을 보이는지 확인해야 합니다.
커뮤니티는 어떤 모델이 가장 좋은지 데이터는 많지만, 특정 모델의 어떤 양자화 수준이 특정 사용 사례와 하드웨어에 가장 적합한지에 대한 데이터는 부족합니다.