연구진은 LLM의 추론 성능 저하 문제를 해결하기 위해 새로운 가지치기 방법론인 RKU(Relative Kinetic Utility)를 제안했습니다. RKU는 모델 깊이 공간에서 연속적인 운동학적 적분을 통해 구조적 경로를 파악하고, 핵심적인 정보 경로를 보존하는 데 중점을 둡니다.
Qwen-2.5-7B와 LLaMA-3-8B 모델에 대한 실험 결과, RKU는 40%의 희소도에서도 기존 방법보다 우수한 성능을 보였습니다. 특히 GSM8K 데이터셋에서 40% 희소도 시 13.34%의 정확도를 달성했습니다.
RKU는 분산 평가 환경에서도 추론과 관련된 표현을 더 잘 보존하여, LLM의 전반적인 성능 향상에 기여할 것으로 기대됩니다.