연구진은 신경망 압축을 위한 새로운 프레임워크 SLORR을 제안했어요. SLORR은 기존 방식의 복잡성을 줄이고 훈련 오버헤드를 최소화하면서 모델 압축을 가능하게 해요.
SLORR은 Hoyer 희소성 지표와 핵 노름을 기반으로 두 가지 주요 변형을 제공하며, GPU 친화적인 근사치를 사용하여 원래 가중치 행렬을 직접 정규화해요.
ImageNet-1K 데이터셋에서 ResNet-50, ViT-B/16, ViT-L/16 모델을 대상으로 SLORR을 평가한 결과, 8% 미만의 훈련 오버헤드로 압축성을 유도했으며, LLM 사전 훈련에서도 성능 저하 없이 1% 미만의 훈련 오버헤드를 보였어요.