연구진은 대규모 언어 모델(LLM)의 장기 기억 패러다임인 잠재 메모리의 성능 저하 문제를 해결하기 위해 MemDefrag 프레임워크를 제안했어요.
MemDefrag는 중간 레이어의 어텐션 밀도를 활용해 메모리 디프래그먼테이션(순위 결정, 재정렬, 필터링)을 수행하고, 용량 초과 시 중요도 기반의 망각 메커니즘을 적용해요.
실험 결과, MemDefrag는 MemoryLLM 및 M+보다 지식 유지 및 장문 벤치마크에서 우수한 성능을 보였으며, 다양한 LLM과 잠재 메모리 변형에 잘 작동했어요.