연구진은 Transformer 모듈에 고정된 순위 예산을 어떻게 분배할지가 LoRA 성능에 큰 영향을 미친다는 점에 주목했어요.
IFCLoRA는 작은 교정 데이터셋과 동결된 사전 훈련 모델을 활용해, 정보 흐름 토폴로지 우선순위와 로컬 기울기 민감도를 결합하여 각 모듈의 적응 중요도를 추정하는 방법이에요.
LLaMA 3 8B 모델로 수학적 추론을 수행했을 때, IFCLoRA는 LoRA보다 rank 4에서 1.36%, rank 8에서 1.82% 성능 향상을 보여줬어요.