Pulse · AI 뉴스

cyankiwi AWQ 4-bit 업데이트: NVFP4·FP8 동적 양자화 및 벤치마크

Qwen · 2026-06-05

cyankiwi에서 AWQ 구현 개선 및 NVFP4, FP8 동적 양자화 지원을 포함한 업데이트를 공개했어요.

Qwen3.6-27B (dense) 모델에서 cyankiwi AWQ가 가장 낮은 KL 발산을 기록했으며, Qwen3.6-35B-A3B (MoE) 모델에서도 우수한 성능을 보였어요.

업데이트된 AWQ는 BF16 기준 4-bit Qwen3.6 모델에 대한 KL 발산을 측정하여 성능을 검증받았으며, 관련 정보는 GitHub에서 확인할 수 있어요.

##AWQ##양자화##Qwen3.6##벤치마크
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기