본 연구에서는 대규모 언어 모델(LLM)의 망각 문제를 해결하기 위해, 정보 삭제(망각)는 부가적인 목표로 두고 일반적인 능력 유지를 우선시하는 비대칭 이중 작업 학습 문제로 재구성합니다.
제안하는 프레임워크는 작업별 기울기 추출과 충돌 방지 결합을 분리하는 기울기 합성 방법을 사용하며, PCGrad를 활용하여 기울기 충돌을 해결하고 SAGO라는 새로운 기울기 합성 방법을 도입합니다.
실험 결과, SAGO는 WMDP Bio/Cyber 및 RWKU 벤치마크에서 기존 방법보다 뛰어난 성능을 보이며, 망각 강도를 유지하면서 목표 모델의 성능 복구율을 향상시키는 것으로 나타났습니다.