연구진은 LoRA의 과적파라미터 문제로 인해 수렴 속도가 느려지는 현상을 발견했어요. 이를 해결하기 위해 반복 과정을 균형 잡힌 영역으로 투영하는 BaLoRA라는 새로운 LoRA 변형을 제안했어요. BaLoRA는 기존 LoRA보다 빠르게 수렴하고 다양한 파인튜닝 작업에서 더 나은 성능을 보여요.
BaLoRA는 손실 함수 경관의 조건을 개선하면서도 적응된 행렬을 유지하는 방식으로 작동해요. 이 투영 단계는 계산 비용이 저렴하며 기존 파인튜닝 파이프라인에 쉽게 통합돼요.
이전 연구에서는 LoRA의 여러 파라미터 쌍이 동일한 적응된 가중치 행렬을 생성할 수 있다는 점을 지적했지만, BaLoRA는 이러한 쌍들이 서로 다른 상태 수를 가진다는 점에 주목했어요.