연구진이 상태 공간 모델(SSM)의 불안정성과 메모리 성능 저하 문제를 해결하기 위해 MuonSSM 프레임워크를 제안했어요. MuonSSM은 업데이트 기하를 명시적으로 조건부화하여 SSM 훈련을 안정화하며, 모멘텀 기반 경로와 뉴턴 슐츠 변환을 활용해 업데이트를 제한하고 스펙트럼 조건을 개선해요. 다양한 벤치마크 실험에서 MuonSSM은 정확도, 강건성, 장문맥 성능에서 일관된 성능 향상을 보여줘요.
MuonSSM은 SSM의 순차적 스캔 복잡성을 유지하면서도 그래디언트 전달을 개선하고 스펙트럼 증폭을 완화하며 장문맥 메모리 표현을 풍부하게 만들어요. 기존 SSM의 첫 번째 순서 업데이트의 조건이 좋지 않아 발생하는 문제를 해결하는 데 기여해요.
MuonSSM은 언어, 비전, 시계열 벤치마크에서 다양한 SSM 백본에 통합될 때 정확도, 강건성, 장문맥 성능을 향상시키는 것으로 나타났으며, 업데이트 기하 조건부화가 안정적이고 확장 가능한 시퀀스 모델링을 위한 효과적인 방법임을 입증했어요.