연구진은 대규모 언어 모델(LLM) 훈련에 적합한 효율적이고 안정적인 옵티마이저 Nora를 제안했습니다. Nora는 기존 방법의 단점을 극복하고 효율성, Muon-과 유사한 사전 조건 설정, 그리고 빠른 속도를 모두 만족합니다. Nora는 행렬 옵티마이저의 핵심 요구사항인 효율성, 안정성, 속도를 모두 충족하며, 코드 2줄로 구현 가능합니다.
Nora는 행렬 정규화와 각 행의 운동량을 통해 안정성을 확보하고, 트랜스포머 헤세이안의 블록 대각선 지배성을 활용하여 효율적인 사전 조건 설정을 구현합니다. 연구진은 Nora의 확장 가능성을 증명하고 관련 스케일링 정리를 확립했습니다.
초기 실험 결과, Nora는 대규모 훈련에 효율적이고 유망한 옵티마이저로 나타났으며, 기존 방법 대비 개선된 성능을 보였습니다.