연구진이 LLM의 과도한 확신 문제를 해결하기 위해 Data-Adaptive Lower-Rank Adaptation (DALorRA) 프레임워크를 제안했어요. DALorRA는 LoRA의 랭크 차원을 활용해 베이지안 정규화로 모델 용량을 조절하는 방식이에요.
DALorRA는 랭크 차원에 stochastic masking을 적용하여 훈련 시 모델 용량을 정규화하고 추론 시 앙상블과 유사한 교정을 수행해요.
실험 결과 DALorRA는 LLM의 추론 정확도를 유지하면서도 뛰어난 교정 성능을 보여줬어요.