사용자가 LLM 양자화 성능 테스트 플랫폼을 구축하여 한 달 동안 268개의 양자화 테스트를 진행하고 결과를 공유했습니다. 이 플랫폼은 양자화 품질과 실질적인 작업 능력 저하를 파악하는 데 중점을 둡니다.
현재 테스트 결과, Qwen 3.6 35B A3B 모델은 다른 모델에 비해 토큰 사용량이 많음에도 성능이 뒤쳐지는 경향을 보였습니다.
플랫폼은 6개의 테스트 스위트(도구 호출, 지시 따르기, 구조화된 출력, 코드 정확성, 논리 및 추론, 비전 추론)를 기반으로 하며, 각 양자화 모델은 384개의 테스트 케이스를 거쳐 성능을 검증합니다.