연구진은 Transformer 피드포워드 블록의 각 구성 요소가 초기화 시 깊이 방향으로 얼마나 많은 랭크를 유지하는지 조사했어요.
스킵 연결과 정규화는 크기를 제어하는 것 외에 깊이 방향으로 그래디언트 랭크를 보존하는 메커니즘으로 재해석됐어요. 네트워크의 표현력을 높이는 행렬 곱셈과 비선형 활성화 함수는 랭크를 감소시키기 때문이에요.
연구 결과 스킵 연결은 랭크 붕괴와 앙상블과 유사한 행동 사이의 균형을 조절하며, 분기 및 스킵의 상대적 크기에 의해 제어돼요. 또한 정규화 레이어의 위치는 깊이 방향으로 분기-스킵 비율을 설정하여 정규화 배치 및 깊이 스케일링 문헌을 통합해요.