Fang 등이 LLaMA3, GPT-2-XL, GPT-J에서 기존 편집 기법보다 성능이 우수한 지식 편집 기법 AlphaEdit을 발표했어요.
본 연구에서는 AlphaEdit의 보고된 결과를 재현하고, 새로운 모델 아키텍처, 추가 벤치마크, 더 긴 순차적 편집 환경에서 평가를 확장했어요.
AlphaEdit의 핵심 이론적 보장이 모델 아키텍처와 편집 규모에 따라 달라지며, 실제 배포에 영향을 미칠 수 있음을 확인했어요.
BoolQ, HellaSwag, XSTest 벤치마크에서 대규모 순차적 편집이 일반적인 작업 능력과 안전 관련 거부 행동을 저하시킨다는 사실을 발견했어요.