연구진은 차등 프라이버시 연합 학습 환경에서 LoRA의 곱셈 구조로 인한 오차 누적 문제를 해결하기 위해 AS-LoRA 프레임워크를 제안했습니다.
AS-LoRA는 레이어별 자유, 라운드별 적응성, 그리고 손실 함수의 이차 근사 기반 곡률 인지 점수를 활용하여 학습 안정성과 정확도를 향상시킵니다.
GLUE, SQuAD, CIFAR-100, Tiny-ImageNet 데이터셋에서 기존 LoRA 방식 대비 최대 7.5% 성능 향상을 보였으며, SVD 기반 방법보다 훨씬 낮은 비용으로 작동합니다.