지속적인 모델 편집은 대규모 언어 모델의 지식 업데이트에 중요하지만, 파괴적인 망각과 모델 붕괴 문제가 발생합니다. 연구진은 최근 장기적으로 안정적인 편집기들이 라이프롱 정규화(LN)라는 핵심 전략을 공유한다는 사실을 발견했습니다. LN은 값 그래디언트를 실행 통계를 사용하여 정규화하며, 이를 제거하면 즉시 성능이 저하됩니다.
LN은 자체적으로 강화되는 안정성 루프를 형성하며, Ridge 정규화 회귀와 결합될 때 미래의 편집 성공을 촉진하는 긍정적인 누적 효과를 가져옵니다. 연구진은 이러한 통찰력을 바탕으로 안정성을 강화하는 StableEdit를 개발하여, 명시적인 워밍업 단계와 전체 표백을 통해 장기적인 안정성을 향상시켰습니다.
실험 결과 이론적 분석을 검증하고 경쟁력 있는 성능을 입증했으며, 관련 코드는 GitHub에서 확인할 수 있습니다.