연구진은 대규모 언어 모델(LLM)의 복잡한 추론 능력을 향상시키는 강화 학습(RL) 과정에서 발생하는 탐험-안정성 딜레마를 해결하기 위해 새로운 방법 UP(Unbounded Positive Asymmetric Optimization)을 제안했어요.
UP는 정책 업데이트 예산을 제한하는 기존 방식의 문제를 해결하고, 긍정적인 이점을 극대화하기 위해 제한 없는 기울기를 활용하여 탐험 능력을 향상시키는 비대칭적 설계 방식을 채택했어요.
실험 결과, UP는 다양한 RL 알고리즘, 모델 구조, 학습 방식에서 추론 정확도를 향상시켜 RL 기반 학습을 위한 보편적인 개선 방법으로 입증되었어요.