연구진은 멀티모달 LLM의 지속적 학습 시 파라미터 간섭을 막기 위해 'Octopus' 프레임워크를 제안했어요. Octopus는 히스토리 프리 그래디언트 직교화(HiFGO)를 기반으로 과거 데이터 없이 그래디언트 수준의 직교성을 강제해요.
UCIT 실험 결과, Octopus는 기존 최고 성능보다 평균 2.14%, 마지막 성능 6.82% 향상된 뛰어난 성능을 보여줬어요.
Octopus는 두 단계의 미세 조정 전략을 통해 적응과 규제 분리를 가능하게 하여, 가소성과 안정성 사이의 균형을 맞추는 것을 목표로 해요.