SHRED는 LLM에서 특정 정보를 삭제하는 언러닝 방법으로, 기존 방식처럼 유지해야 할 데이터 세트 없이도 모델 성능 저하 없이 정보 삭제가 가능합니다.
SHRED는 정보가 집중된 토큰을 식별하여 삭제하고, 일반적인 언어 능력과 관련된 토큰은 유지하는 방식으로 작동하며, 이를 통해 모델은 효율적으로 학습합니다.
실험 결과, SHRED는 기존 방식보다 뛰어난 성능을 보이며, 재학습 공격 및 멤버십 추론 공격에 강하며, 반복적인 언러닝 과정에서도 안정적인 성능을 유지합니다.