연구진은 LoRA 어댑터 배치 전략을 연구하여, 모델 구조에 따라 특정 FFN 다운 프로젝션 모듈에 어댑터를 집중시키는 것이 효과적임을 밝혔습니다.
새로운 방법인 DomLoRA는 기존 LoRA 대비 0.7%의 적은 파라미터로도 다양한 downstream 작업에서 성능을 능가하며, 지배적 어댑테이션 모듈에 단일 어댑터를 배치하는 전략을 제시합니다.
이 연구는 모델 구조에 따른 어댑터 배치 최적화의 중요성을 강조하며, instruction following, 수학적 추론, 코드 생성, 다중 턴 대화 등 다양한 작업에서 성능 향상을 가능하게 합니다.