연구진은 LLM 학습을 위한 스펙트럼 보존 최적화 기법인 Pion을 새롭게 제안했어요. Pion은 Adam과 Muon과 달리, 각 가중치 행렬을 좌우 직교 변환을 통해 업데이트하여 훈련 과정에서 고유값을 보존합니다. 이를 통해 가중치 행렬의 기하학적 구조를 조절하면서도 스펙트럴 노름을 고정할 수 있습니다.
Pion 업데이트 규칙을 도출하고 설계 선택 사항을 체계적으로 검토했으며, 수렴 행동과 주요 속성을 분석했답니다. 실험 결과, LLM 사전 훈련 및 미세 조정 모두에서 표준 최적화 기법에 대한 안정적이고 경쟁력 있는 대안을 제공하는 것으로 나타났어요.
Pion은 LLM 학습 과정에서 가중치 행렬의 스펙트럼을 보존하는 새로운 최적화 기법으로, 기존 Adam, Muon과 차별점을 보입니다.