AdaPaD는 LoRA를 통해 대규모 언어 모델을 미세 조정할 때 순위를 미리 결정하는 문제를 해결하기 위해 개발되었습니다. 각 작업자가 이전 단계의 추정치를 기반으로 감쇄 목표를 개선하는 방식으로 모든 순위 1 구성 요소를 동시에 훈련하여 감쇄 오류가 고정 잔류물로 지속되는 문제를 해결합니다.
AdaPaD는 사전 학습(활성화 전 개인 사전 훈련) 및 모듈별 동적 순위 발견 기능을 추가하여 순위 분포를 입력이 아닌 출력으로 만듭니다. 모든 구성 요소의 오류가 초기 기간 이후 지수적으로 감소하는 것을 증명했습니다.
실험 결과, AdaPaD는 GLUE에서 DeBERTaV3-base를 사용한 동일한 파라미터 예산으로 적응형 순위 LoRA와 경쟁하고 Qwen3-0.6B SQuAD/SQuAD v2에서 고정 순위 LoRA와 경쟁하며 평균 30.7% 더 작은 어댑터를 배포했습니다.