NVIDIA는 LLM 추론 워크로드의 다양한 리소스 요구 사항 문제를 해결하기 위해 Run:ai와 NIM을 활용하는 방법을 제시합니다. Run:ai는 GPU 활용률을 높이고, NIM은 GPU 리소스 관리를 자동화하여 비용 효율적인 LLM 운영을 지원합니다. 이러한 기술들을 통해 기업은 LLM 배포 및 운영의 효율성을 향상시키고, 리소스 활용도를 최적화할 수 있습니다.