연구진은 RAT+ 기술의 지수 감쇠 메모리가 기존 쿼리 기반 희소 어텐션 방식의 정확도를 향상시킨다는 사실을 확인했어요. Quest, MoBA, SnapKV 등 대표적인 방법론에 적용한 결과, 다양한 희소 예산 환경에서 표준 어텐션보다 성능이 우수했어요. OLMo2-7B 모델을 추가 메모리 모듈로 사전 훈련하여 100억 토큰을 학습했고, 메모리 모듈이 쿼리 기반 희소 추론에 기여하는 원인에 대한 가설을 제시했어요.