본 논문은 모델 병합의 핵심 과제인 작업 간 간섭 문제를 분석하고 해결하기 위해 필수 서브스페이스 분해(ESD) 기법을 제안합니다. 작업 업데이트로 인한 출력 변화가 특정 주성분 방향에 집중된다는 점에 착안하여, 이 방향들을 '필수 서브스페이스'로 정의합니다. 필수 서브스페이스 병합(ESM)은 이 필수 성분들을 직교화하고 융합하여 작업 지식 보존과 간섭 감소를 동시에 달성합니다.
ESM을 확장한 ESM++는 작업별 잔차를 저랭크 전문가로 분해하고 프로토타입 기반 라우팅을 통해 관련 전문가를 선택하는 동적 병합 기법입니다. 다양한 작업 세트와 모델 크기에서 실험 결과, ESM과 ESM++ 모두 작업 지식 보존과 간섭 감소에 효과적임을 확인했습니다.
본 연구는 모델 병합의 효율성을 높이는 새로운 접근 방식을 제시하며, 다중 작업 학습 환경에서 모델 활용 가능성을 높일 것으로 기대됩니다.