연구진이 심층 신경망의 일반화 원리를 설명하는 점별 일반화 이론을 제시했어요. 이 이론은 기존의 장벽을 해결하고 표현 학습의 통계적 기반을 새롭게 구축했어요. 각 모델은 점별 리만 차원을 통해 특성화되며, 이는 표현의 고유값으로부터 파생돼요.
새로운 이론은 모델 크기, 노름의 곱, 무한 폭 선형화에 기반한 기존 접근 방식보다 훨씬 더 정확한 일반화 경계를 제공해요. 이론적으로는 심층 신경망의 처리 가능성을 설명하는 구조적 속성과 수학적 원리를 밝혀냈어요.
실험적으로는 점별 리만 차원이 상당한 특징 압축을 보이며, 과적합화가 증가함에 따라 감소하고, 최적화기의 내재적 편향을 포착하는 것으로 나타났어요.