연구진은 구조적 가지치기(pruning)를 거친 LLM이 생성 작업에서 성능 저하를 겪는 문제를 해결하기 위해 ShortOPD 기술을 제안했어요.
ShortOPD는 가지치기 모델의 자체적인 정책 상태를 활용하여 토큰 단위의 밀집 지도 학습을 수행하며, 교사 모델을 활용해 반복적인 부분을 감지하고 학습 효율성을 높여요.
실험 결과 ShortOPD는 기존 복구 방식 대비 성능을 크게 향상시켰으며, 더 짧은 시간과 적은 토큰으로 8192 토큰의 롤아웃 환경과 유사한 결과를 얻었어요.