연구진은 소프트맥스 크로스 엔트로피 손실과 이산적 레이블 간의 불일치로 인해 온라인 교사-학생 모델에서 발생하는 파워 로(power law) 학습 곡선을 분석했어요.
분석 결과, 학습 시간 α에 따라 테스트 손실과 일반화 오차(generalization error)가 α^(-1/3)의 파워 로를 따르는 현상이 관찰되었으며, 이는 베이즈 최적의 참조값 α^(-1)보다 느린 속도예요.
학습률 스케줄을 조정하면 일반화 오차를 α^(-1/2) 파워 로로 개선할 수 있으며, 시뮬레이션과 실험을 통해 예측된 상호 작용 동역학과 학습 곡선을 검증했어요.