연구진은 제로스-오더 최적화와 LoRA를 결합한 고랭크 LoRA 파인튜닝 시 발생하는 랭크 역설 문제를 해결하기 위해 AR1-ZO 방식을 제안했어요. AR1-ZO는 랭크-1 원자 쿼리를 토폴로지 기반 스케일링과 결합하여 랭크에 관계없이 활성 신호를 복원합니다.
기존 방식의 문제점인 활성 신호 감소와 방향성 붕괴를 해결하고, 이론적으로 원자 최소성, 랭크 독립적인 활성 쿼리 차원, 방향성 복구 등을 증명했어요.
OPT 및 Qwen3 모델 실험 결과, AR1-ZO는 표준 두 번의 순방향 패스 예산 내에서 고랭크 LoRA를 효과적으로 활용할 수 있음을 입증했어요.