연구 논문은 1개의 GPU에서 수행하는 실험을 수천 개의 GPU로 확장하는 문제를 다루고 있습니다.
학습률과 미니배치 크기를 선형적으로 외삽하는 방법을 제시하며, 글로벌 큰 배치 크기를 N개의 노드(GPU)에 대한 K개의 미니배치로 나눌 수 있다고 설명합니다.
미니배치 크기가 8k까지 확장되어 1개의 GPU에서 수행한 것과 동일한 학습 및 검증 성능을 달성했습니다.
파이프라이닝 기술을 사용하여 GPU가 작업 대기 시간을 줄이고 효율성을 높였습니다.