연구진은 SDM(Sparse Delta Memory)이라는 새로운 아키텍처를 소개했어요. SDM은 게이트된 선형 RNN의 숨겨진 상태 용량을 희소 주소 지정 방식을 통해 크게 확장합니다. 기존 방식 대비 더 큰 상태 메모리 용량은 in-context 학습 및 장문 컨텍스트 검색 성능을 향상시킵니다.
SDM은 Gated DeltaNet 아키텍처를 확장하여 밀집 키-값 외적을 희소 읽기 및 쓰기로 대체합니다. 이를 통해 동일한 파라미터 수와 FLOPs 제약 조건 하에서 성능을 개선했어요.
학습된 SDM 메모리 초기 상태를 활용하여 모델은 상식 및 추론 작업에서 더욱 향상된 결과를 보여줍니다.