저랭크 적응(LoRA)이 대규모 사전 훈련 모델의 효율적인 파라미터 미세 조정에 널리 사용되고 있어요. 지속적 학습(CL)에서 각 작업에 전용 LoRA 어댑터가 필요하다는 기존 가설에 도전하며, 작업별 LoRA 어댑터가 상당한 저랭크 중복성을 가진다는 것을 발견했어요. LiteLoRA라는 새로운 게이팅 메커니즘을 제안하여 활성 어댑터 수를 20~70% 줄였어요.
새로운 어댑터를 모집할지 기존 저랭크 표현을 재사용할지 학습하는 플러그 앤 플레이 방식의 LiteLoRA는 표준 CL 벤치마크에서 최고 성능을 능가했어요. 구조적 중복성이 만연하며 선택적 학습만으로도 안정성과 가소성을 모두 달성할 수 있다는 것을 보여줬어요.
연구 결과, 기존 어댑터로 후속 작업을 충실하게 표현할 수 있으며, 이는 구조적 중복성이 광범위하게 존재함을 시사해요.