Pulse · AI 뉴스

LoRA 파인튜닝 순위 임계값 재고: 이진 분류 시 r=1로 충분

arXiv cs.LG · 2026-05-05

최근 연구에 따르면 NTK 영역에서 LoRA 파인튜닝 시 spurious local minima 방지를 위해 r ≥ 12가 필요하다고 합니다.

하지만 이진 분류 환경에서는 Polyak–Łojasiewicz 부등식에 따라 순위 임계값이 완전히 제거되어 r = 1로 충분합니다.

실험 결과, RoBERTa-large 모델을 사용한 GLUE 스타일 이진 분류 작업에서 r=1이 기존 권장값인 r=12와 경쟁력 있는 성능을 보였습니다.

##LoRA##파인튜닝##NTK##이진분류
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기