저랭크 적응(LoRA)은 큰 모델을 파인튜닝할 때 가중치 업데이트를 저랭크 행렬로 분해하여 저장 공간과 계산 오버헤드를 크게 줄입니다.
기존 LoRA는 불확실성 정량화 메커니즘이 부족하여 과신뢰적이고 보정되지 않은 모델을 야기하지만, 베이지안 LoRA는 더 많은 학습 가능한 파라미터를 필요로 하여 효율성을 부분적으로 상쇄합니다.
본 연구에서는 매우 낮은 차원의 파라미터 공간에서도 효과적인 불확실성 정량화가 가능함을 보여주는 새로운 프레임워크를 제안하고, 적절한 가중치 공간 투영을 통해 저차원 공간에서 불확실성을 효과적으로 모델링할 수 있음을 확인했습니다.