연구진이 xLSTM, Mamba-2, Gated DeltaNet 등 세 가지 서브쿼드라틱 아키텍처를 비교 분석했어요. 코드 모델 사전 훈련, 코드 모델 증류, 시계열 모델 사전 훈련 등 복잡한 의존성이 필요한 작업에서 xLSTM이 가장 뛰어난 성능을 보였어요. xLSTM은 게이팅 방식을 통해 유연하고 안정적인 메모리 보정이 가능하며, 이는 복잡한 작업에서 성능 향상의 원인으로 분석됐어요.
xLSTM의 장점은 강력한 상태 추적 및 누적 능력에서 비롯된 것으로 나타났으며, 합성 데이터 길이 일반화 작업에서도 이를 뒷받침하는 결과를 얻었어요.
이번 연구는 xLSTM의 게이팅 방식이 상태 추적 및 메모리 보정에 미치는 영향을 분석하고, 이를 통해 서브쿼드라틱 아키텍처 설계에 대한 통찰력을 제공해요.