연구진은 SDM(Sparse Delta Memory)이라는 새로운 아키텍처를 제안했어요. SDM은 게이트된 선형 RNN의 숨겨진 상태 용량을 희소 주소 지정 방식으로 크게 확장합니다. 기존 방식 대비 더 큰 상태 메모리 용량으로 in-context 학습 및 장문 컨텍스트 검색 성능을 향상시켰어요.
SDM은 Gated DeltaNet 아키텍처를 확장하여 밀집 키-값 외적을 희소 읽기/쓰기로 대체합니다. 동일한 FLOPs 제약 조건과 파라미터 수 내에서 더 큰 상태 메모리 용량이 성능을 향상시킵니다.
연구진은 SDM 메모리의 초기 상태를 학습하여 파라메트릭 메모리로 활용함으로써 상식 및 추론 능력도 개선했습니다.