Pulse · AI 뉴스

대규모 스텝 사이즈로 평탄 최소점 부근에서 경사 하강법의 역학

arXiv cs.LG · 2026-07-09

본 논문은 경사 하강법(GD)의 중요한 요소인 '샤프니스'를 정의하고, 딥러닝 학습에서 자주 위반되는 스텝 사이즈 조건을 분석해요.

벡터 출력의 overparameterized 최소 제곱과 평탄 최소점의 매니폴드 부근으로 이론을 확장하여, 기존 연구의 한계를 극복했어요.

행렬 분해와 같은 응용 분야에 적용 가능한 새로운 구조적 결과를 도출하고, 평탄 최소점 집합이 구면의 곱에 대한 섬유 다발을 형성한다는 것을 증명했어요.

##경사하강법##최적화##딥러닝##행렬분해
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기