연구진은 저비트 양자화(PTQ)의 성능 저하 문제를 해결하기 위해 ETBQ(Efficient Tuning Before Quantization)라는 사전 튜닝 단계를 제안했어요. ETBQ는 양자화 오류에 덜 민감한 영역으로 모델을 유도하여, 양자화 후 재구축 없이 FP 모델을 최적화해요.
SGD로 최적화된 FP 모델을 양자화 오류 분포에서 샘플링된 섭동을 통해 튜닝하며, CIFAR-100, Tiny-ImageNet, ImageNet, Cityscapes 등 다양한 작업에서 저비트 PTQ 성능을 향상시켰어요.
W2A4 설정에서 ETBQ는 Tiny-ImageNet에서 top-1 정확도를 2.14% 향상시키고 Cityscapes에서 mIoU를 5.80% 향상시키는 등 효과적인 성능 향상을 보여줬어요.