이 연구는 대규모 언어 모델(LLM)을 특정 작업에 대해 미세 조정할 때 일반적인 언어 기반 추론 능력이 손실되는 문제를 다룹니다. 연구진은 ORBIT라는 새로운 방법을 제안하여 미세 조정 중 모델의 가중치 변화를 추적하고, 가중치 평균화 전략을 사용하여 모델의 편향을 제한합니다. 실험 결과 ORBIT는 기존의 지속적 학습 방법과 가중치 평균화 기반 정규화 방법보다 뛰어난 성능을 보였습니다.