GIFT는 LLM 사전 훈련의 주요 병목 현상인 기울기 통신 문제를 해결하기 위한 기하학 정보 기반 저정밀 기울기 통신 방법입니다. 기울기를 기하학적으로 변환하여 저정밀 표현의 정확도를 높이고, 모델 성능 저하를 방지합니다. Llama-300M 및 Llama-600M 모델 실험 결과, 64개의 NVIDIA GH200 Superchip에서 Llama-600M의 사전 훈련 시간을 7.6% 단축했습니다.
기존 방법은 유클리드 공간에서 선형 또는 비선형 매핑을 통해 기울기를 양자화하여 방향 의존적 왜곡을 유발하는 한계가 있었습니다. GIFT는 기울기를 거의 등방성 공간으로 변환하여 저정밀 표현의 충실도를 높입니다. 기존 옵티마이저, 학습 레시피, 통신 집단, 저정밀 형식을 변경하지 않습니다.