연구진은 강화 학습(RL)을 활용하여 추론 서빙 시스템의 배치 및 라우팅 정책을 최적화하는 방법을 연구했어요.
단일 GPU 환경에서는 기존 배치 정책과 RL의 성능 차이가 미미하지만, 다중 GPU 환경에서는 RL이 Head-of-Line blocking 문제를 해결하여 처리량 3.5배 향상 및 지연 시간 25% 감소 효과를 보였어요.
RL은 복잡한 다중 자원 의사 결정에 유리하며, 이러한 복잡성이 있는 곳에서만 학습된 정책이 엔지니어링 비용을 정당화할 수 있다는 점을 시사해요.