연구진은 LLM에서 유해한 지식을 제거하는 비추적 리플레이 방식인 ReRULE을 제안했어요. 기존 방식(RULE)은 쉬운 경우에 빠르게 수렴하여 학습 효율성이 떨어지는 문제점을 개선합니다.
ReRULE은 학습 초기에 낮은 보상을 받는 어려운 케이스의 데이터를 리플레이 버퍼에 저장하고, 이후 학습 단계에서 중요도 샘플링을 통해 재사용하여 경계 케이스 학습에 집중합니다.
실험 결과, ReRULE은 MUSE-Books Retain Quality를 46.3에서 56.2로 향상시켰으며, 학습 시간은 5~11% 증가하는 효과를 보였어요.