TaDA는 작업 LoRA 어댑터와 도메인 LoRA 어댑터를 단일 모델로 병합하는 새로운 방법입니다. 트랜스포머 아키텍처에서 레이어 깊이에 따라 작업과 도메인 어댑터의 비대칭성이 있다는 점에 주목합니다. TaDA는 프로브 신호에 기반한 레이어별 게이팅과 서브스페이스 인식 병합을 통해 이 구조를 활용합니다. Llama-2-7B 모델에서 TaDA는 기존 방법보다 평균 정확도가 3.6% 향상됐습니다.
TaDA는 학습 과정 없이 표준 rank-r LoRA 어댑터를 생성하며, 추론 오버헤드가 없습니다. ViT-L/16 모델에서 이미지 분류 정확도가 85.9%로, 기존 병합 방법보다 우수한 성능을 보였습니다. TaDA는 6개의 과학 QA 벤치마크와 6개의 이미지 분류 벤치마크에서 최고 성능을 달성했습니다.