마르코 드스네이(marcodsn)가 Qwen3.5-4B와 Gemma-4-12B를 활용해 자체 증류된 압축 추론 데이터를 학습했어요. 이 과정에서 불필요한 부분은 제거하고 핵심 계산 및 검증 구간은 유지하는 섹션별 압축 기법을 적용했어요.
압축된 모델은 원본 모델과 유사하거나 뛰어난 성능을 보였으며, 추론 토큰 사용량은 2~3배 줄이는 효과를 보여줬어요. 특히 평탄화된 압축은 모델이 반복적인 오류에 빠지게 하는 문제를 해결하기 위해 섹션별 압축이 중요했어요.
연구 결과, 시스템 프롬프트의 의미는 학습 방식에 따라 달라지며, 압축된 추론 스타일을 유지하기 위해 프롬프트를 활용하는 방법을 제시했어요. 또한, 더 강력한 교사 모델은 오히려 성능을 저하시키는 결과를 낳았으며, 모델은 학습 데이터의 추론 길이 분포를 재현하는 경향을 보였어요.