연구진이 LLM 레이어별 중요도 차이를 고려한 가지치기 방법 PALS를 제안했어요. PALS는 레이어별 활성화 값의 99번째 백분위수를 기준으로 레이어별 가지치기 비율을 조정해요. LLaMA-2-7B 모델에서 50% 가지치기 시 PALS는 기존 방법 대비 WikiText-2 퍼플렉시티를 2% 향상시켰어요.
PALS는 모델 아키텍처에 따라 효과가 다르게 나타나 LLaMA-3-8B에서는 미미한 개선, Mistral-7B에서는 효과가 없었어요. 기존의 경사 기반 할당 방식은 오히려 무작위 할당보다 성능이 떨어지는 것으로 확인됐어요.
PALS는 기존 가지치기 파이프라인에 거의 추가 비용이 없고, 추가적인 파인튜닝 없이도 적용 가능해요.