연구진이 Hyperball 스타일 옵티마이저의 장점 원인을 분석했어요. 파라미터 업데이트 각도, 규범, 업데이트 규범을 고려한 각도 효과 학습률을 도출했어요. Hyperball은 파라미터 업데이트 방향보다 효과적인 스텝 사이즈 변화가 주요 차이점인 것으로 나타났어요. Hyperball의 잠재력을 최대한 활용하려면 신중한 학습률 스케줄링이 여전히 중요해요.
Hyperball 스타일 옵티마이저의 업데이트를 방사형 및 접선 구성 요소로 분해하여 각 구성 요소가 각도 효과 학습률에 미치는 영향을 분석했어요. 방사형 업데이트는 각도 효과 학습률에 제한적인 영향을 미치는 것으로 확인됐어요. 연구진은 학습률 스케줄을 수정하여 두 옵티마이저의 역학을 재현하는 실험을 설계했어요.
연구 결과, 더 공격적인 학습률 감쇠는 Hyperball의 초기 학습을 가속화할 수 있지만 나중에 성능을 저하시킬 수 있어요. 따라서 각도 속도를 일정하게 유지하는 것만으로는 학습률 스케줄링 문제를 해결할 수 없으며, Hyperball 스타일 옵티마이저의 잠재력을 최대한 발휘하려면 신중한 스케줄링이 여전히 필수적이에요.
연구 코드는 GitHub에서 공개됐어요.