Pulse · AI 뉴스

SGD는 브라운 운동이 아니다: 확률적 동역학에 대한 새로운 관점

Stochastic Gradient Descent · 2026-05-22

본 연구는 확률적 경사 하강법(SGD)을 브라운 운동으로 모델링하는 기존 방식에 의문을 제기합니다. 미니배치 노이즈를 연속 시간으로 근사하고 sqrt(eta) 노이즈 스케일링을 적용하는 데 따른 한계를 지적합니다. SGD를 변동하는 손실 지형에서 결정론적 동역학으로 재정의하고, 학습률에 따라 유효 확산 계수가 결정되는 평탄한 방향에서 시간 경과에 따른 분산 증가를 관찰했습니다.

##SGD##최적화##딥러닝##수학
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기