사용자가 Gemma 4 26B IT 모델의 4비트, 6비트, QAT 8비트 양자화 버전을 mlx-community를 통해 실행한 벤치마크 결과를 공유했어요. MMLU_PRO와 HumanEval 테스트를 통해 성능을 비교했는데요.
결과적으로 QAT 8비트 모델은 HumanEval 테스트에서 6비트 모델보다 성능이 떨어지는 것으로 나타났으며, MMLU_PRO 테스트에서는 통계적으로 유의미한 차이가 없었어요. 이는 QAT가 BF16과 거의 동일하다는 주장에 반하는 결과입니다.
현재로서는 QAT 양자화 모델을 5, 6, 또는 동적 4비트 양자화 모델로 대체할 필요가 없어 보이며, 더 많은 테스트가 필요할 것으로 보입니다.