연구진은 지도 학습 방식이 사전 학습된 언어 모델을 특정 분야에 적응시키는 데 효과적이지만, 기존 능력을 저하시킬 수 있다는 점을 분석했어요.
Shannon 및 Renyi 엔트로피를 활용한 분석 결과, 사전 학습 모델은 다양한 가능성을 나타내는 다중 모드 엔트로피 구조를 가지고 있다는 것을 발견했어요.
연구진은 이 구조를 보호하기 위해 LP-SFT(Local-Preserving Supervised Fine-Tuning)를 제안했는데, 이는 지도 학습 토큰 외 다른 가능성 있는 토큰들의 상대적 구조를 유지하며 성능을 개선했어요.