연구진은 데이터 병렬 방식의 확률적 경사 하강법에서 학습률 공간을 탐색하지 않는 문제를 해결하기 위해 하이퍼파라미터 분산 앙상블 학습(HDET) 방법을 제안했어요. HDET는 GPU 복제본을 활용하여 학습률을 동시에 탐색하며, 팬-아웃 단계와 수렴 단계를 반복하여 작동해요. 자동 학습률 제어기를 통해 훈련 손실을 기반으로 학습률 일정을 조정하여 최적화 품질과 일반화 성능을 향상시켰어요.