연구진은 에이전트 강화 학습(RL)의 주요 병목 현상인 장기 롤아웃 생성 문제를 해결하기 위해 WAR(Workload-Aware Rollout) 시스템을 제안했어요.
WAR은 낮은 워크로드 시 SuffixDecoding을 활용해 모델 프리 추론 디코딩을 가능하게 하고, 높은 워크로드 시에는 캐시 기반 스케줄링을 통해 KV 캐시 재계산을 줄여요.
WAR은 디코딩 수준의 서픽스 재사용과 시스템 수준의 롤아웃 스케줄링을 결합하여 낮은 워크로드에서 1.4배, 높은 워크로드에서 최대 1.6배의 처리량 향상을 달성했어요.