연구진은 LLM의 도메인 특화 능력을 개선하는 사후 훈련 과정에서 정책 탐색과 분포 정렬을 분리하는 PUST(Proxy-guided Update Signal Transfer) 프레임워크를 제안했어요.
가벼운 프록시 모델을 활용해 효율적인 행동 탐색을 진행하고, 주 모델에 전달할 업데이트 신호를 추출하여 정책 정렬을 가이드하는 방식이에요.
Qwen3 패밀리 모델을 대상으로 한 실험 결과, 약한 프록시 모델에서 추출한 업데이트 신호가 강력한 주 모델을 효과적으로 개선할 수 있음을 확인했어요.
PUST는 사후 훈련을 일체형 온라인 최적화 과정에서 모듈화되고 재사용 가능하며 비용 효율적인 패러다임으로 전환합니다.