연구진은 워밍업-안정-감쇠(WSD) 학습률 스케줄의 감쇠 단계가 어떤 경우 도움이 되고 어떤 경우 아무런 영향을 미치지 않는지 분석했어요.
강하게 볼록한 목적 함수에서 곱셈 노이즈가 있을 때, 확률적 경사 하강법은 일정한 학습률로 기하급수적으로 수축하여 감쇠가 개선할 여지가 없어요.
사인 기반 및 정규화 방법은 $η^2$ 차수의 노이즈 플로어에 정착하고 학습률이 0으로 내려갈 때까지 최소값을 달성하지 못하며, 추가적인 노이즈는 모든 방법에 대해 플로어를 재구현해요.
연구진은 2차 함수에 대한 사인SGD 고정 법칙을 정확하게 풀고, $(L_0,L_1)$-평활성 하에서 국소적인 해리 형태를 증명하고, 차원 d>1에서 정규화된 SGD에 대한 플로어를 스케일 불변성 논증을 통해 확장하고, 모멘텀과 Heavy-tailed 노이즈에 대한 강건성을 확립했어요.