AI 추론이 전체 AI 컴퓨팅의 약 3분의 2를 차지하며, 토큰 처리 비용과 지연시간이 인프라 경제성을 좌우합니다. 요청은 토큰화, API 게이트웨이, GPU, CUDA 커널 등 복잡한 과정을 거쳐 처리됩니다. 데이터센터 내에서 토큰이 이동하는 과정은 KV 캐시, NVLink 등 다양한 요소를 포함하며, 이는 AI 모델의 성능과 비용에 큰 영향을 미칩니다.