ICCU(In-Context Continual Unlearning)는 언어 모델에서 특정 데이터의 영향을 제거하는 새로운 프레임워크입니다. 기존 방식의 문제점을 해결하기 위해 패턴 기반 거부 규칙을 활용하여 모델 파라미터를 수정하지 않고 추론 시 필터 또는 시스템 프롬프트로 적용합니다. 지속적인 언러닝 요청에 대한 비용 효율성과 유틸리티 손실 문제를 해결하고 교차 요청 간섭을 방지합니다.
ICCU는 거부 규칙을 순서에 관계없이 누적하여 구성 가능하며, 원본 데이터 삭제 후에도 안전합니다. 실험 결과, 목표 지식을 효과적으로 억제하면서 유틸리티를 보존하고, 순차적인 요청에 대한 확장성을 확보했습니다.
ICCU는 재구성된 쿼리에 강건하며, 다양한 언어 및 패러프레이즈 쿼리에 대한 성능을 유지합니다.