연구진은 대규모 언어 모델(LLM)의 사전 훈련 과정에서 잠재적으로 문제가 될 수 있는 데이터를 미리 필터링하는 데 어려움이 있어, 특정 지식을 삭제하는 방법의 필요성이 제기되었습니다.
CURaTE(Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge)는 기존 방법의 한계를 극복하기 위해 실시간으로 지속적인 지식 삭제를 가능하게 하는 새로운 기술입니다.
CURaTE는 언어 모델 파라미터를 수정하지 않고도 기존 방법보다 효과적인 지식 삭제를 달성하며, 무한한 업데이트에도 LLM 지식을 거의 완벽하게 보존합니다.