NVIDIA가 TensorRT의 다중 GPU 추론 지원 기능을 발표했어요. 단일 GPU 메모리 및 연산 한계를 넘어선 AI 워크로드에 대응하기 위함입니다. 미디어 생성 파이프라인 개발자를 위한 솔루션으로, 여러 GPU를 활용해 추론 성능을 향상시킬 수 있습니다.
TensorRT는 모델 최적화 및 추론 가속을 위한 SDK입니다. 이번 업데이트를 통해 여러 GPU에 모델을 분산하여 더 큰 모델을 처리하고 더 높은 처리량을 달성할 수 있습니다. 개발자는 더 복잡한 AI 모델을 효율적으로 배포할 수 있습니다.