연구진이 RLVR 환경에서 LoRA 초기화 방법을 분석하여 직교 초기화가 전체 파인튜닝과 가장 유사한 결과를 낸다는 사실을 밝혀냈습니다. 이를 바탕으로 RLVR 환경에 최적화된 RLPO와 RLMO라는 새로운 LoRA 변형 모델을 제안했습니다. 실험 결과, 제안된 초기화 방법은 표준 LoRA보다 성능이 뛰어나고 PiSSA나 MiLoRA와 같은 기존 방법의 불안정성을 개선했습니다.
수학적 추론 벤치마크 실험에서 RLPO와 RLMO는 표준 LoRA보다 안정적인 RLVR 훈련을 가능하게 했습니다. 연구 결과는 LoRA 초기화에 대한 통일된 분석을 제공하며, 기존 방법이 RLVR에서 성능이 저하되는 이유를 설명합니다.
연구 결과 및 코드는 GitHub에서 공개되어 있으며, RLVR 환경에서 LoRA를 활용하는 데 도움이 될 것으로 기대됩니다.