연구진은 노이즈 경사 하강법으로 모델을 학습하는 과정을 손상 지형에서의 과감압 랑주뱅 동역학으로 이상화할 수 있다고 밝혔습니다. 모델 궤적이 지정된 실패 영역에 있을 확률을 제한하는 것이 중요한 안전 문제라고 설명합니다.
연구 결과, 강하게 볼록한 손실 함수에서 실패 영역과 최소화 지점 사이의 에너지 간극이 있을 때, 학습 종료 시점의 실패 영역 내 평형 질량은 차원(d)에 따라 지수적으로 감소합니다.
궤적 상에서 실패 영역 내 확률은 전역 스펙트럼 간극(m)을 사용하여 d의 차수와 관련된 시간 이후에 (두 배)의 정적 값으로 이완하는 것으로 나타났습니다.
기하학적으로 고립된 영역의 경우, 국소 이완률은 전역률을 초과하여 연소 시간을 비례적으로 감소시키고, 최대 원리를 통해 시간 경과에 따른 궤적 확률을 제한할 수 있습니다.