연구진은 LLM 추가 훈련 시 전체 모델 깊이를 사용하는 방식의 비효율성을 지적하며, 새로운 방법인 LoPT(Local-Learning Post-Training)를 제안했어요.
LoPT는 트랜스포머 중간 지점에 그래디언트 경계를 설정하여, 일부 블록만 학습하고 나머지 블록은 사전 훈련된 표현을 유지하는 방식으로 작동해요.
실험 결과, LoPT는 기존 방식과 유사한 성능을 보이면서도 메모리 비용을 절감하고 훈련 효율성을 높이며, 사전 훈련된 능력을 더 잘 유지하는 것으로 나타났어요.