연구진은 대규모 언어 모델 파인튜닝 시 기존 능력이 저하되는 망각 현상을 해결하기 위해 FINCH라는 손실 적응형 학습률 스케줄을 제안했어요. FINCH는 높은 손실 배치에 대한 학습률을 줄이고 모델이 수렴함에 따라 증가시키는 방식으로 작동해요.
FINCH는 기존 파인튜닝 목표를 변경하지 않고도 평균적으로 93%의 망각을 감소시키면서 표준 파인튜닝과 동등한 작업 성능을 유지하며, 특히 Qwen3-4B 지식 습득에서 TruthfulQA 성능 저하를 5배 줄이고 HaluEval 성능 저하를 개선했어요.
연구 결과는 학습률 스케줄이 목표 작업 최적화 외에도 모델 행동을 형성하는 데 효과적인 도구임을 보여주며, 손실이 높은 배치가 망각을 유발하기 쉽다는 점에 착안하여 개발되었어요.