연구진은 지속적인 사전 훈련 업데이트 과정에서 PortLLM 패치의 장기적인 시간적 이식성을 조사하고 이론적으로 설명했습니다.
실험 결과, Mistral, Gemma, Qwen 모델을 기반으로 10단계의 지속적인 사전 훈련을 진행한 결과 PortLLM 패치의 이식성은 장기간 유지되었으며, 반복적인 미세 조정이 필요하지 않았습니다.
연구는 고차원 벡터의 거의 직교성이 시간적 이식성을 설명하는 핵심 요인임을 밝혀냈으며, 손실 지형의 기하학적 관점을 제시했습니다.