SigmaScale은 SVD 기반 LLM 압축 시 성능을 높이는 학습 스케일링 행렬을 활용하는 새로운 방법입니다. 학습된 스케일링 행렬은 가중치 행렬의 효과적인 고유 순위를 낮추고 압축 손실과 강한 상관관계를 보입니다.
Llama 3.1 8B Instruct 및 Qwen3-8B 모델 실험 결과, SigmaScale은 기존 SVD 기반 압축 방법과 경쟁력 있는 성능을 보였습니다.
개별 모델 가중치의 구조에 맞춰 유연하게 압축을 적용하는 SigmaScale은 LLM 추론 비용을 줄이는 데 효과적입니다.