Neural Subspace Reallocation (NSR)은 지속적 학습을 파라미터 하위 공간의 메모리 관리로 재해석하는 새로운 방법입니다. LoRA 모듈을 일회성 어댑터로 처리하는 대신, NSR은 이를 동결된 백본의 압축 가능하고 검색 가능한 메모리 단위로 관리합니다.
NSR은 LoRA를 SVD로 압축하고 TaskKnowledgeBank에 보관하며, 유사성 기반 검색을 통해 관련 과거 LoRA를 검색하고 활성 하위 공간을 재할당합니다. 이 과정에서 증류를 통해 이전 작업의 손실을 보호합니다.
실험 결과, NSR은 Split-CIFAR-100에서 주기적 복구 시간을 10배 단축하고, 5개 데이터 세트 벤치마크에서 가장 높은 정확도를 달성하고 잊힘을 최소화했습니다.
연구 결과, 메모리 관리 메커니즘(압축 및 유사성 검색)이 학습된 할당 정책보다 지속적 학습 성능을 주도하며, TaskKnowledgeBank는 1개 작업당 0.29MB의 파라미터 메모리만 사용합니다.