SkyeGunasekaran 님이 개발한 AutoMuon은 PyTorch 훈련 파이프라인에서 Muon 옵티마이저를 AdamW 대신 사용할 수 있도록 해주는 파이썬 패키지예요.
AutoMuon은 모델 초기화 시 파라미터 유형을 자동으로 분석하여 적절한 옵티마이저를 적용하며, 임베딩, 노름, 바이어스 등은 AdamW를 사용해요.
현재 GitHub에서 공개되었으며, pip를 통해 설치할 수 있고, 다양한 분야에서의 활용 경험 공유 및 PR 참여를 환영해요.