Pulse · AI 뉴스

TORQ: MXFP4 양자화의 두 단계 직교 회전

TORQ · 2026-05-19

TORQ는 LLM의 MXFP4 양자화 정확도를 향상시키는 훈련 불필요한 PTQ 프레임워크입니다.

MXFP4 양자화 오류의 원인을 활성화 분포와 MXFP4 블록 부동 소수점 형식 간의 불균형으로 분석하고, 이를 해결하기 위해 제안합니다.

LLaMA3, Qwen3 모델 실험 결과, 기존 방법 대비 perplexity 감소, 평균 정확도 향상 등 괄목할 만한 성능 개선을 보였습니다.

##LLM##양자화##MXFP4##TORQ
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기