연구진은 텍스트-이미지 확산 모델의 개인화 속도를 높이는 파라미터 효율적인 미세 조정(PEFT) 시, 여러 개념을 조합하는 데 어려움이 있다고 밝혔습니다. SeqLoRA는 이분 레벨 최적화를 통해 LoRA 요소를 공동으로 최적화하는 지속적인 학습 프레임워크로, 기존 방법의 한계를 극복합니다.
SeqLoRA는 파괴적인 망각에 대한 높은 확률 경계를 도출하기 위해 잔여 레이어 활성화를 행렬 서브 가우시안 프로세스로 모델링하고, 기존 방법보다 잔여 간섭 에너지를 효과적으로 최소화하는 것을 증명했습니다.
실험 결과, SeqLoRA는 최대 101개의 개념에 걸쳐 신원 보존 및 확장성을 향상시키고, 비용이 많이 드는 융합을 피하며 합성 생성에서 속성 간섭을 줄이는 것으로 나타났습니다.