연구진은 로봇, 자율 주행차 등 물리적 AI 시스템의 추론 작업이 클라우드 LLM 서비스와 달리 단일 스트림, 배치 1 방식으로 진행된다는 점을 확인했어요.
H100, A100, L40S, L4 GPU에서 7~8B 모델의 배치 1 추론을 테스트한 결과, 메모리 대역폭이 높은 GPU일수록 메모리 사용률이 낮게 나타났어요.
CUDA Graphs 실험 결과, 빠른 GPU에서는 런칭 오버헤드가 두드러지며, 메모리 절감 효과가 실행 환경에서 실현될 때만 의미를 갖는다는 점을 밝혀냈어요.