Janus-LoRA는 지속적 학습에서 LoRA의 불안정성을 해결하기 위한 프레임워크입니다. 기존 LoRA 업데이트가 과거 지식 하위 공간과 직교성을 위반하여 간섭을 재도입한다는 문제점을 개선합니다. Gradient Rectification과 Decoupled Margin Loss를 통해 파라미터 수준의 직교성과 특징 수준의 분리를 조화롭게 합니다.
Gradient Rectification은 LoRA의 요인 업데이트를 수학적으로 분리하여 과거 지식 하위 공간에 대한 직교성을 강제합니다. Decoupled Margin Loss는 새로운 특징 표현을 기존 표현으로부터 분리하여 특징 수준의 분리를 촉진합니다.
벤치마크 실험 결과, Janus-LoRA는 파라미터 수준의 직교성과 특징 수준의 분리를 조화롭게 하여 새로운 최고 성능을 달성했습니다.