연구진은 추론 능력 향상을 위해 언어 모델을 미세 조정할 때 모델 내부의 변화를 분석했어요. Chain-of-Thought 추론을 스위칭 동적 시스템(SDS)으로 모델링하여 잠재 정책 상태를 파악했어요. 1.5B~32B 파라미터 규모의 모델에서 추론 미세 조정 모델은 기본 모델보다 더 풍부한 잠재 정책 조직을 보였어요. SDS 기반 가지치기는 12가지 모델-데이터셋 설정에서 자기 일관성보다 성능을 향상시켰어요.
연구 결과, 추론 미세 조정은 잠재 동역학을 전반적으로 재구성하며, 추론 모델의 메커니즘 분석 및 프로세스 수준 제어에 새로운 시각을 제공해요. 연구는 모델이 추론 단계를 구별하는 기능적 전문화된 상태를 갖는다는 것을 보여줘요. 연구진은 상태 교환 제거 실험을 통해 이러한 상태가 기능적으로 의미 있다는 것을 확인했어요.
연구진은 SDS를 활용하여 실패하기 쉬운 추론 접두사를 가지치기하여 성능을 향상시켰고, 이는 기존 방법보다 더 효과적이었어요. 연구는 모델의 내부 작동 방식에 대한 이해를 높이고, 더 나은 추론 모델을 개발하는 데 기여할 수 있을 것으로 기대돼요.