연구진이 심층 신경망(DNN) 학습 시 발생하는 곡률 불균형 문제를 해결하기 위해 새로운 $\ell_p$-Norm 방식을 제안했어요.
초기 학습 단계에서는 높은 곡률 방향의 지배를 억제하고, 후반 단계에서는 안정적인 업데이트를 위해 $p$ 값을 동적으로 조절하는 방식이에요.
CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋에서 VGG-11, ResNet-18, ResNet-50 등 다양한 DNN 모델을 활용해 실험을 진행했어요.
LPSGD와 LPSGDM이라는 새로운 최적화 알고리즘이 $O(T^{-1/2})$의 수렴 속도를 달성하는 것을 이론적으로 증명했어요.