Pulse · AI 뉴스

Fisher 정보 행렬 기반의 SGD implicit bias: 평탄한 최소값으로의 편향

Fisher Information Matrix · 2026-06-19

연구진은 딥러닝에서 SGD가 평탄한 최소값을 선호한다는 통념을 엄밀하게 분석했어요.

기존 평탄도 측정 방식의 한계를 지적하고, Fisher 정보 행렬(FIM) 기반의 Riemann 기하학적 평탄도(Riemannian sharpness) 개념을 도입했어요.

Riemannian sharpness는 함수 보존 재파라미터화에 불변하며, 실험 결과 Euclidean 평탄도보다 일반화 성능을 더 잘 반영하는 것으로 나타났어요.

##머신러닝##최적화##Riemann기하##SGD##일반화
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기