Reddit 사용자가 Gemma 4 31B QAT와 원본 모델의 Q4 양자화 결과에서 차이를 발견했어요.
Gemma 4 31B QAT는 재훈련을 거쳤으므로, 원본 모델과 양자화 성능 비교는 의미가 없다고 판단해요.
Gemma 4 31B QAT의 양자화 성능을 평가하려면, 먼저 재훈련으로 인한 모델 성능 저하 여부를 확인해야 해요.
QAT 모델의 Q4 양자화 성능과 원본 모델의 Q4 양자화 성능을 비교하면, 양자화 품질을 평가할 수 있을 거예요.