연구진은 뮤온(Muon)의 행렬 정규화(spectral norm)이 학습 과정에서 상향으로 치우치는 현상을 발견하고, 이를 개선하기 위해 새로운 최적화 기법인 Muown을 개발했습니다.
Muown은 행렬의 행(row) 크기를 명시적인 최적화 변수로 취급하여, 행렬 정규화 드리프트를 방지하고 학습 안정성을 높이는 방식으로 작동합니다.
FineWeb-Edu 데이터셋에서 124만에서 27억 파라미터 규모의 모델을 사전 학습했을 때, Muown은 기존 뮤온, SOAP, AdamW, Lion 알고리즘보다 더 나은 성능을 보였습니다.