연구진이 온폴리시 증류(OPD)의 역할, 병폐, 규제를 체계적으로 분석했어요. OPD는 학생 모델이 올바른 추론 경로를 찾도록 돕는 탐색 촉매 역할을 하며, 교사 모델의 신호 품질에 따라 효과가 결정돼요. 학생-교사 모델 불일치와 길이 악용이라는 병폐가 발생할 수 있으며, 이를 해결하기 위해 어드밴티지 클리핑과 로그 스케일 압축 규제 기법을 제안했어요. 실험 결과, 규제된 신호 품질이 교사 모델 규모보다 중요한 요소임을 확인했어요.
OPD는 학생 모델이 올바른 추론 경로를 찾도록 돕는 탐색 촉매 역할을 하지만, 학생-교사 모델 간의 불일치로 인해 잘못된 방향으로 탐색할 수 있어요. 또한, 길이 악용이라는 병폐로 인해 모델이 응답을 자르거나 불필요한 패딩을 추가하여 비효율적인 길이를 탐색할 수 있어요.
연구진은 어드밴티지 클리핑과 로그 스케일 압축 규제 기법을 통해 이러한 병폐를 완화하고, 기존 OPD 방식과 RLVR 기준선을 능가하는 효과적인 증류를 가능하게 했어요. 이는 온폴리시 증류에서 성공적인 탐색을 위한 핵심 요소는 교사 모델 규모가 아닌 신호 품질임을 보여줘요.
향후 연구에서는 더 나은 신호 품질을 확보하고, 다양한 LLM 환경에서 온폴리시 증류의 성능을 개선하는 방향으로 나아갈 것으로 예상돼요.