연구진은 작은 초기화로 직교 데이터로 2층 ReLU 네트워크의 기울기 흐름 역학을 분석했어요. 초기화 규모가 0에 가까워질수록 기울기 흐름은 안장점-안장점 점프로 수렴하며, 각 안장에서 새로운 뉴런이 활성화되는 점진적 학습 현상을 보였어요. 이 분석을 통해 학습 데이터 보간 시 $m hickapprox ext{log}(n)$ 조건 만족 시 네트워크가 학습 데이터를 높은 확률로 보간한다는 사실을 확인했어요.
연구 결과, 학습된 보간기의 제곱 $ ext{l}_2$ 노름은 $ ext{sqrt}(n)$에 비례하며, 최적의 $ ext{l}_2$ 노름 보간기 수준에 근접했어요. 이는 ReLU 네트워크의 점진적 학습 과정을 처음으로 엄밀하게 증명한 결과예요.
본 연구는 과매개변수화 네트워크가 학습 데이터의 복잡성과 유사한 복잡도를 가진 보간 해로 수렴할 수 있음을 시사하며, 신경망 학습 이론 발전에 기여할 것으로 보입니다.