사용자가 Gemma와 Qwen 모델의 다양한 양자화 방식에 대한 정확도 비교 테스트를 진행하고 결과를 공유했어요. 테스트는 산술 문제, 대통령 관련 질문, 어텐션 테스트 3가지로 구성됐어요.
Gemma 4B 모델은 Arithmetic 테스트에서 0.1%의 정확도를 기록했지만, Qwen3.6 35B 모델은 87.4%의 높은 정확도를 보였어요. Qwen3.6 35B 모델은 모든 테스트에서 100% 정확도를 달성했어요.
테스트는 LLM의 기본 예측 능력을 평가하기 위해 thinking 기능과 temperature를 비활성화하고 진행됐으며, 향후 QAT 방식 개선 가능성을 언급하며 테스트 결과를 공유했어요.