연구진은 게이트 FFN에서 저랭크 잔차가 투영된 특징뿐 아니라 출력에 기여하는 채널을 결정하는 비선형 선택 가중치에도 영향을 미치는 '선형성 불일치' 현상을 발견했어요.
NA-LoRA는 게이트 채널의 비선형 상태에 반응하는 용량을 할당하고 선택의 시간적 변화를 형성하는 방식으로, 저랭크 업데이트를 수행하는 새로운 방법이에요.
연구 결과, NA-LoRA는 기존 LoRA 대비 성능이 향상되었으며, 강력한 PEFT 변형과 경쟁하거나 능가하는 것으로 나타났어요.