연구진은 heavy ball(HB) 및 Nesterov momentum과 같은 확률적 모멘텀 방법의 시리얼 런타임과 계산 효율성(CE) 간의 관계를 분석했어요. HB는 특정 스펙트럼에서 SGD와 유사한 CE를 유지하며 더 큰 배치 크기를 허용하여 시리얼 런타임을 줄여요.
ASGD는 빠르게 감소하는 파워-로 스펙트럼에서 HB/SGD보다 작은 배치 CE를 향상시키지만, 배치 크기가 증가함에 따라 시리얼 런타임 개선을 위해 CE 이점을 교환해요.
합성 선형 회귀 실험은 느리게 감소하는 스펙트럼의 경우 ASGD와 HB의 CE가 거의 겹치고 빠르게 감소하는 스펙트럼의 예측된 CE-시리얼 절충 관계를 확인했어요.