이 논문은 어댑티브 피처 리텐션(AFR)을 구조적 가지치기에 적용할 때 발생하는 문제점을 해결하기 위한 개선된 구조적 가지치기 방법을 제안합니다. AFR을 구조적 가지치기에 적용할 때 나타나는 분포 불일치, 부호 정보 손실, 이상치 영향 문제를 해결하기 위해 파워 변환, 부호 보존 스코어 집계, 백분위수 기반 이상치 제거를 결합한 방법을 사용합니다.
Llama-3-8B, Vicuna-v1.5-13B, LLaVA-v1.5-13B 모델에 대한 실험 결과, 구조적 가지치기를 통해 비구조적 가지치기와 유사한 정확도를 유지하면서도 실제 추론 속도를 향상시켰습니다.
제안하는 방법은 기존 AFR의 단점을 보완하여 LLM의 효율성을 높이는 데 기여하며, 실제 서비스에 적용 가능한 구조적 가지치기 기법을 제시합니다.