DeepLoop는 루프 트랜스포머의 안정적인 반복 깊이 구현을 위한 새로운 방법론입니다. 루프 트랜스포머는 물리적 블록을 재사용하여 깊이를 늘리지만, 파라미터 업데이트 방식이 기존 트랜스포머와 달라 잔차 스케일링 문제를 야기합니다. 연구진은 이 '타이된 깊이' 효과를 방문 정렬 계수 κ_R로 제어되는 1차 근사치 경계를 통해 공식화했습니다.
DeepLoop는 Post-LN DeepNorm 아키텍처를 유지하며, 물리적 깊이가 고정된 상태에서 루프 횟수가 증가함에 따라 잔차 스케일링 지수를 1/4에서 1/2로 증가시킵니다. GPT-2 small 및 GPT-2 medium 규모의 루프 언어 모델에서 DeepLoop는 재방문 없이 중립적이며, 반복 깊이가 활성화되면 검증 손실과 다운스트림 정확도를 향상시킵니다.
연구 결과는 파라미터 방문을 고려하는 잔차 스케일링 규칙이 안정적인 반복 깊이 구현에 필수적임을 보여줍니다.