연구진은 LLM 강화 학습(RL) 과정에서 발생하는 롤아웃 생성 지연 문제를 해결하기 위해 EfficientRollout 프레임워크를 개발했어요.
EfficientRollout은 목표 모델에서 양자화된 추론기를 유도하여 변화하는 정책에 맞춰 유지하고, 시스템 자원을 효율적으로 활용하는 SD 전환 정책을 적용해요.
실험 결과, EfficientRollout은 기존 AR 롤아웃 대비 최대 19.6% 롤아웃 지연 감소, 12.7% 전체 지연 감소 효과를 보였으며 모델 품질은 유지했어요.