Qwen 3.6 27B 모델의 다양한 양자화 방식(BF16, Q8_0, Q6_K, Q5_K_XL, Q4_K_XL, IQ4_XS, IQ3_XXS)을 비교 분석하여 16GB VRAM 환경에 적합한 양자화 방식을 찾기 위한 테스트를 진행했습니다.
테스트는 체스 게임 PGN 문자열을 입력받아 체스판 상태를 파악하고 SVG 코드로 생성하는 방식으로 진행되었으며, Qwen 3.5 27B, Gemma 4 31B, Qwen3 Coder Next, Qwen3.6 35B A3B 모델과 비교했습니다.
BF16 양자화는 완벽에 가까운 결과를 보여주었으며, Q8_0은 거의 유사한 결과를, Q3_XXS는 체스판 기물 배치를 정확하게 생성했지만 일부 오류가 발견되었습니다.