연구진은 심층 신경망의 장기 훈련 중 발생하는 주기적인 손실 급증 현상(슬링샷 메커니즘)이 부동소수점 연산 정밀도의 한계에서 비롯된다는 것을 증명했습니다.
이들은 '수치적 특징 인플레이션(NFI)'이라는 새로운 메커니즘을 제시하며, 정밀도 부족으로 인해 분류기 레이어의 파라미터 업데이트에 체계적인 드리프트가 발생한다고 설명합니다.
연구 결과는 슬링샷 현상을 유한 정밀도 훈련의 수치적 역학으로 재해석하며, 훈련 후반 단계에서 파라미터 급성장과 로짓 발산을 설명하는 테스트 가능한 설명을 제공합니다.