연구진은 온-정책 증류(OPD)가 모델 파라미터에 미치는 영향에 대한 분석을 진행했어요. 분석 결과, OPD 스타일 업데이트는 작고 좌표 희소하며, 주로 피드포워드 네트워크(FFN)에 집중되는 경향을 보였어요.
전체 OPD를 사용하는 것과 동일한 성능을 확보하기 위해 발견된 하위 네트워크만 학습하는 것으로 충분했어요. 하지만, SGD 옵티마이저가 AdamW보다 성능이 떨어지는 것으로 나타났어요.
업데이트는 수치적으로는 완전 랭크이지만, 스펙트럼이 집중되어 있으며, 원본 가중치가 0에 가까운 좌표에 불균형적으로 분포하는 특징을 보여요.