연구진은 기존 메모리 확장 방식의 높은 비용과 비효율성을 해결하기 위해 Memory Grafting이라는 새로운 방법을 제안했어요.
Memory Grafting은 사전 훈련된 모델의 고정된 은닉 상태를 조건부 n-gram 메모리로 활용하며, grafting 모델은 오프라인에서만 실행돼 학습 및 추론 오버헤드를 줄여요.
2.8B 규모 모델에서 Memory Grafting은 평균 벤치마크 점수를 MoE(51.95) 및 일반 Engram(52.43)보다 향상된 53.86으로 끌어올렸어요.