본 연구는 신경망 학습 시 Hessian 고유벡터의 변화를 추적하여 옵티마이저 의존적 행동을 분석합니다. SGD는 학습 과정에서 안정적인 고유벡터 방향을 유지하는 반면, Adam은 고유벡터의 재구성이 두드러집니다. Adam 환경에서는 일부 파라미터가 주요 고유벡터 방향에 불균형적으로 기여하는 국소화 현상이 관찰됩니다.
Hessian 고유벡터 변위를 측정하는 두 가지 보조 통계량(시간에 따른 변위, 역 참여 비율을 통한 국소화)을 활용하여 다층 퍼셉트론의 학습 동역학을 분석했습니다. 이 통계량은 아키텍처에 의해 유도된 Hessian의 무작위 모델과 비교되었습니다.
연구 결과, Hessian 고유벡터 동역학은 옵티마이저의 행동과 학습 경로의 차이를 포착하며, Adam은 SGD보다 더 큰 재구성을 보입니다.