연구진이 Sharpness-Aware Minimization(SAM) 학습률 스케줄링에 Polyak 스텝 사이즈를 적용한 새로운 알고리즘을 개발했어요. 이 알고리즘은 기존 SAM보다 학습률 튜닝 부담을 줄여주고 성능도 개선했어요.
이론적으로 볼 때, 볼록 목적 함수에 대해 선형 수렴을 보장하며, 확률적 환경에서도 최적점 근처에서 수렴을 보장해요.
실험 결과, 제안하는 Polyak 스케줄러가 기존 SAM보다 우수한 성능을 보여주며, 학습률 튜닝 없이도 효과적인 학습이 가능했어요.