연구진이 사전 학습된 LLM을 재학습 없이 가볍게 만들 수 있는 Adaptive Depth Sparse Framework (AdaDSF)를 공개했어요. 각 레이어의 중요도를 cosine similarity로 파악해 토큰 유지 비율을 결정하고, 성능 저하를 최소화하는 방법을 사용해요.
GPT-NeoX와 Qwen2.5 모델을 테스트한 결과, 추론 FLOPs를 크게 줄이면서 성능은 기존 모델과 거의 비슷했어요. MoD, D-LLM, DLO 등 기존 방법보다 정확도 손실이 적었어요.
AdaDSF는 레이어별 토큰 유지 비율을 결정하고, 가벼운 라우터를 통해 유용한 토큰을 선택하며, 중간 표현을 보존하는 alignment objective를 도입하여 LLM 추론 속도를 높여요.