연구진은 파라미터 효율적인 조정(PEFT) 방법인 LoRA의 한계를 극복하기 위해 SMoA(스펙트럼 조절 어댑터)를 제안했어요. SMoA는 레이어를 여러 개의 스펙트럼 블록으로 나누고 각 블록에 하adamodulated 저랭크 브랜치를 적용하여 사전 훈련된 스펙트럼 방향을 더 넓게 커버해요.
기존 LoRA 방식은 랭크 증가 시 성능 향상과 파라미터 증가라는 딜레마에 빠지지만, SMoA는 더 적은 파라미터로 더 넓은 스펙트럼 방향을 커버할 수 있도록 설계됐어요.
실험 결과, SMoA는 LoRA 및 유사한 기반 모델들을 능가하는 평균 성능을 보여줬으며, 저예산 환경에서 특히 효과적이었어요.