배치 정규화(BN)는 현대 심층 신경망의 핵심이지만, 훈련 중 실현되는 함수에 대한 이해는 최적화 이점만큼 명확하지 않습니다.
연구에 따르면 BN은 각 뉴런에 대해 배치 중심점을 지나는 기준 초평면을 정의하며, 브레이크포인트 전환 초평면은 배치 표준화된 좌표로 표현되는 오프셋을 통해 평행하게 이동합니다.
BN은 ReLU 및 보다 일반적인 조각별 선형 네트워크에서 예상되는 지역 파티션 세분화를 증가시키며, 이 메커니즘은 부모 선형 영역 내에서 상류 표현 맵이 선형 임베딩인 경우 깊이 방향으로 지역적으로 전달됩니다.