Geometric Self-Distillation (GeoSD)는 LLM의 추론 능력 향상을 위해 개발된 새로운 학습 기법입니다.
GeoSD는 기존 self-distillation 방식의 OOD(Out-of-Distribution) 성능 저하 문제를 해결하기 위해 Hellinger 손실과 proximal 항을 활용합니다.
GeoSD는 1.7B~32B 규모의 다양한 모델에서 in-distribution 성능 향상과 함께 평균 OOD 정확도를 5.7~8.6% 향상시켰습니다.