Qwen 3.6 35B 모델의 Q4_K_M 양자화 버전이 CPU 환경에서 llama-cpp-python을 통해 HumanEval, HellaSwag, BFCL 벤치마크 테스트를 거쳤습니다.
벤치마크 결과, HellaSwag에서 74.30%의 높은 정확도를 기록했으며, HumanEval은 47.56%, BFCL은 46.00%의 성능을 보였습니다.
Neo AI Engineer를 통해 다양한 양자화 버전을 테스트하고 평가 환경을 구축하여, CPU 환경에서 실행 가능한 MoE 모델의 성능을 검증했습니다.