연구진은 PEFT 평가 시 downstream 정확도 외에 사전 학습 능력 유지 여부도 고려해야 한다고 주장합니다. PEFT-Arena 벤치마크를 통해 downstream 성능과 일반 능력 유지 여부를 동시에 측정하며, 방법별 안정성·가소성 프로필 차이를 분석했습니다.
PEFT 업데이트를 가중치 공간과 활성화 공간에서 분석한 결과, 가중치 공간에서는 사전 학습된 고유값 구조와의 상호작용, 활성화 공간에서는 일반 능력 표현 왜곡과 망각 간의 연관성이 확인되었습니다.
최종 SFT 체크포인트가 최적의 목표 유지 지점을 벗어나는 경향이 있으며, 경로 기반 되감기(path-wise rewinding)를 통해 개선할 수 있다는 사례 연구를 제시했습니다.