연구진은 지속적인 후속 훈련 시 누적되는 가중치 드리프트 문제를 해결하기 위해 ReGrad라는 새로운 패러다임을 제안했어요. ReGrad는 그래디언트를 검색 가능한 지식 단위로 취급하며, 문서별 그래디언트를 미리 계산해 Gradient Bank에 저장하고 추론 시 관련 그래디언트를 검색하여 일시적으로 가중치를 조정해요. Bi-level 메타 학습을 통해 문서에서 파생된 그래디언트를 일반화된 적응 신호로 변환하여 다운스트림 작업에 활용해요.
기존 CPT와 RAG 방식보다 뛰어난 성능을 보이며, 가중치 드리프트 없이 확장 가능하고 가역적인 파라미터 지식 주입을 가능하게 해요. 일반 및 도메인 특정 환경에서 실험 결과, ReGrad가 CPT와 RAG 기반 모델보다 우수한 성능을 보여줬어요. 연구 결과는 arXiv에 공개됐어요.