연구진은 대규모 언어 모델의 LoRA 랭크 할당 문제를 통계적 가설 검정 문제로 공식화하고 StatLoRA라는 새로운 방법을 제안했어요.
StatLoRA는 각 LoRA 구성 요소에 테스트 통계량을 연결하고 추정된 p-값을 사용하여 주어진 랭크 예산 하에서 어떤 구성 요소를 유지하거나 제거할지 결정해요.
DeBERTaV3-base, BART-Large, Qwen2.5-7B 모델을 활용한 실험 결과, StatLoRA는 기존 LoRA, AdaLoRA, IGU-LoRA와 비교해 유사하거나 더 나은 성능을 보여줬어요.