연구진이 분산·연합 ASGD에서 gradient clipping이 지연 현상에 강건성을 높이는 이유를 밝혀냈습니다. gradient clipping은 oracle 복잡도의 최대 지연 의존성을 제거합니다. 새로운 연구는 deep learning 모델의 비동기 학습에서 gradient clipping이 훈련을 안정화하는 이유를 이론적으로 뒷받침합니다.
sub-Weibull 모델을 활용하여 heavy-tailed 분포에서도 수렴성을 보장했습니다. 이는 기존 ASGD 연구에서 처음입니다. 연구 결과는 기대값 수렴과 함께 고확률 수렴을 제시합니다.
본 연구는 분산 학습 환경에서 ASGD의 효율성과 안정성을 높이는 데 기여할 것으로 기대됩니다.