연구진이 Gated DeltaNet 아키텍처를 확장하여 Sparse Delta Memory (SDM)를 제안했어요. SDM은 희소 접근 방식을 사용하여 게이트된 선형 RNN의 숨겨진 상태 용량을 크게 늘려 장기 컨텍스트 처리 성능을 향상시켰어요. 동일한 FLOPs 제약 조건 하에서 SDM은 기존 모델보다 인컨텍스트 학습 및 장기 컨텍스트 검색 작업에서 더 뛰어난 성능을 보여요.
SDM은 초기 메모리 상태를 학습하여 파라메트릭 메모리로 활용함으로써 상식 및 추론 작업에서도 성능을 개선했어요. 연구 결과는 arXiv에 공개되었으며, GitHub에서 관련 코드를 확인할 수 있어요.
SDM은 선형 RNN의 상태 크기를 확장하여 장기 컨텍스트 처리 성능을 향상시키는 새로운 접근 방식이며, 이는 LLM의 장기 기억 능력 향상에 기여할 수 있어요.