연구진은 LLM의 도메인 특화 능력을 개선하는 사후 훈련 과정에서 정책 탐색과 분포 정렬을 분리하는 새로운 프레임워크 PUST(Proxy-guided Update Signal Transfer)를 제안했어요.
PUST는 경량 프록시 모델을 활용해 효율적인 테스트베드를 구축하고, 주 모델의 비용적인 부담을 줄여 업데이트 신호를 비동기적으로 생성, 캐시, 재사용할 수 있도록 해요.
Qwen3 패밀리 모델을 대상으로 한 실험 결과, 약한 프록시에서 추출한 업데이트 신호가 강력한 주 모델을 효과적으로 향상시킬 수 있음을 입증했어요.