연구에서는 LLM 스케줄링이 에이전트 서빙에 적합하지 않음을 지적하며, 기존 스케줄러가 KV 캐시 재사용을 과도하게 우선시하여 일부 인스턴스에 과부하를 주고 전체 TPS를 제한한다고 밝혔습니다.
연구진은 세션의 첫 번째 요청을 로드 밸런싱에 활용하고, 이후 요청은 캐시 친화적으로 처리하는 SMetric이라는 새로운 스케줄링 기법을 제안했습니다.
SMetric은 세션 정보를 스케줄링 지표로 활용하여 클러스터 TPS를 10~16% 향상시키고, 토큰당 지연 시간을 개선했습니다.
연구는 실제 트레이스를 기반으로 에이전트 서빙 환경에서의 LLM 스케줄링 문제를 분석하고, 세션 기반 스케줄링의 효율성을 입증했습니다.