연구진은 LoRA(저랭크 어댑테이션)를 여러 개 병합하여 단일 어댑터로 만드는 '압축 후 병합(CtM)' 기술을 제안했어요. 기존 방식은 병합 후 압축을 진행해 저랭크 구조를 손상시키는 문제점이 있었어요.
CtM은 LoRA 가중치만으로 공유되는 저랭크 서브스페이스를 계산하고, 각 어댑터를 이 서브스페이스로 투영하여 병합을 진행해 단일 저랭크 LoRA를 보장해요.
다양한 모델과 작업에서 실험한 결과, CtM은 기존 방식보다 성능이 뛰어나고, 전체 파라미터 병합 방식과의 성능 격차를 좁혔어요.