연구진은 직교 초기화 신경망의 훈련 성능 향상 현상을 분석하기 위해 무한 폭 통계에 대한 유한 폭 보정을 사용했습니다. 직교 초기화 신경망의 층별 재귀 관계를 유도하고, 페인만 다이어그램을 확장하여 모든 폭의 역수 차수에서 유효하도록 했습니다. 연구 결과, 직교 가중치로 초기화된 유한 폭 비선형 네트워크의 안정성을 이론적으로 설명했습니다.
유한 폭 텐서의 안정성을 확인하기 위해 수치적 해법을 사용하여 재귀 관계를 검증하고, 실험적으로 이론적 결과를 확인했습니다. 수치적 해법과 분석적 대규모 깊이 확장은 네트워크 앙상블에서 얻은 몬테카를로 추정치와 매우 잘 일치했습니다.
본 연구는 직교 초기화 신경망의 훈련 성능 향상 현상에 대한 이론적 설명을 제공하며, 관련 문헌의 오랜 공백을 메웠습니다.