AGENTSERVESIM은 멀티턴 LLM 에이전트 서빙을 위한 하드웨어 인식 시뮬레이터입니다.
기존 시뮬레이터는 stateless 요청 기반 워크로드를 대상으로 했지만, AGENTSERVESIM은 멀티턴 프로그램 실행, 턴 간 캐시 로컬리티, 도구 사용 중 KV 캐시 잔류 시간 등 에이전트 서빙 핵심 동역학을 반영합니다.
AGENTSERVESIM은 실제 시스템 동작을 6% 이내 오차로 재현하며, 고가액셀러레이터 없이 에이전트 서빙 정책을 탐색할 수 있도록 지원합니다.