연구진이 GASLoC라는 새로운 분산 사전 훈련 알고리즘을 개발했어요. 이 알고리즘은 다양한 환경에서 LLM 훈련 속도를 높이는 데 초점을 맞췄어요. 실험 결과, GASLoC는 기존 분산 알고리즘보다 성능이 뛰어나고, 특히 대역폭이 제한적인 환경에서 DiLoCo보다 우수한 성능을 보였어요.
GASLoC는 'outer optimizer' 개념을 일반화하여 실용적인 gossip 기반 훈련 프레임워크를 가능하게 해요. 이를 통해 LLM은 지역 최적화 단계를 수행하고, 불균일한 환경에서도 효율적으로 훈련될 수 있어요.
GASLoC는 기존 분산 방식의 한계를 극복하고, 다양한 토폴로지에서 경쟁력 있는 성능을 제공하며, 여러 지역 최적화 단계를 활용하여 DiLoCo와 비슷한 성능을 달성할 수 있어요.