연구진은 flan-t5-large 모델에 공개된 196개의 LoRA 어댑터를 분석하여, 어댑터의 기능적 내용은 낮은 차원의 공유 공간에 존재하며, 30~38%는 중복된다고 밝혔습니다.
128개 좌표로 제한된 하위 공간 적응 학습은 깨끗한 분류 데이터에서 전체 LoRA 파인튜닝과 유사한 성능을 보이지만, 악의적인 데이터 조작 시에는 원본 성능을 유지하는 반면 LoRA는 급격히 성능이 저하됩니다.
제한된 학습자는 오염된 데이터를 학습하지 못하며, 깨끗한 데이터와 쓰레기 데이터를 구별하는 손실 차이가 두 배 이상으로 나타나 별도의 감지기 없이도 이상 감지가 가능합니다.
적응형 백도어 공격에 직면했을 때, 제한된 학습자는 공격을 차단하는 반면 LoRA는 공격 성공률이 높으며, 이는 목표 행동이 어댑터 풀과 유사할수록 공격 성공률이 높아지는 경향을 보입니다.