본 연구는 LoRA에서 스케일링 팩터 α가 학습률의 보조적인 역할만 하는 것이 아니라, 효과적인 최적화를 주도하는 핵심 요소임을 밝혀냈습니다.
실험적 분석과 Signal-Drift 프레임워크를 통해 LoRA의 스케일링 메커니즘을 분석한 결과, α는 학습률을 능가하며 기존의 랭크 기반 휴리스틱을 개선하는 것으로 나타났습니다.
새로운 LoRA-α 프레임워크는 α를 원칙적인 영역으로 되돌려 LoRA를 표준 작은 학습률과 호환되게 만들며, 다양한 작업에서 성능을 향상시키고 하이퍼파라미터 검색을 간소화합니다.