연구진은 레이어 가지치기 시 LLM의 성능 급감 원인을 분석하기 위해 결정 표현(decision representation)을 활용하는 새로운 방법을 제시했습니다. 다중 선택 작업에서 결정 마진(Decision Margin)과 옵션 빈도(Option Frequency)라는 지표를 도입하여, 모델의 결정 과정을 단계별로 분석했습니다.
분석 결과, 모델은 '침묵 단계'(Silent Phase)에서 정답을 예측할 수 없다가 '결정 단계'(Decisive Phase)에서 갑자기 정답을 예측하는 '결정 전환'(decision transition)을 겪는다는 사실을 밝혀냈습니다.
결정 전환을 방해하는 '침묵 단계'의 가지치기는 모델 성능 급감을 유발하며, '결정 단계'는 비교적 안정적이라는 점을 발견하여, 가지치기 유도 성능 급감은 결정 전환을 방해하기 때문임을 결론지었습니다.