연구진이 xLSTM, Mamba-2, Gated DeltaNet 등 세 가지 서브쿼드라틱 아키텍처를 비교 분석했어요. 코드 모델 사전 훈련, 코드 모델 증류, 시계열 모델 사전 훈련 등 복잡한 의존성을 가진 작업에서 xLSTM이 가장 뛰어난 성능을 보였어요. xLSTM은 게이팅 방식을 통해 유연하고 안정적인 메모리 보정이 가능하며, 복잡한 작업에서 강점을 보이는 이유는 강력한 상태 추적과 누적 덕분이라고 설명해요.
연구진은 xLSTM의 장점을 설명하기 위해 통일된 수식을 제시하고, 상태 추적과 메모리 역학에 초점을 맞춰 아키텍처 메커니즘을 분석했어요. 합성 데이터 길이 일반화 작업에서도 xLSTM의 효과를 뒷받침하는 결과를 확인했어요.
이번 연구는 xLSTM의 게이팅 방식이 유연하고 안정적인 메모리 보정을 가능하게 하며, 복잡한 작업에서 강력한 성능을 발휘하는 핵심 요인임을 보여줍니다.