Gemma 4 QAT 모델의 정확도 불일치 현상에 대한 분석 결과가 공개됐어요. 12B 모델은 FP16 대비 가장 큰 편차를 보이는 반면, 2B/4B 모델은 거의 완벽에 가깝습니다. MoE 모델의 특성상 양자화 오류에 취약할 것으로 예상되지만, 12B 모델의 경우 원인 분석이 필요합니다.
분석에 사용된 방법론과 QAT 미적용 모델과의 비교 데이터가 궁금하다는 의견이 있습니다. Google 측의 QAT 훈련 과정에 문제가 있었을 가능성도 제기되고 있습니다.
관련 연구에 참여한 연구자가 있다면 추가 정보를 제공해 줄 것을 요청합니다.