연구진은 LoRA 최적화 과정에서 발생하는 특이점 문제를 해결하기 위해 AdaPreLoRA라는 새로운 기법을 제안했습니다.
AdaPreLoRA는 Adafactor의 대각 Kronecker 사전 조건부를 활용하여 factor 공간 업데이트를 최적화하고, 기존 LoRA 최적화 기법 대비 성능 향상을 보였습니다.
GPT-2, Mistral-7B, Qwen2-7B 모델과 확산 모델 개인화 실험에서 AdaPreLoRA는 경쟁력 있는 성능을 보여주며, GPU 메모리 사용량도 효율적으로 관리했습니다.