산업용 머신 비전 시스템에서 낮은 지연 시간과 데이터 보안이 중요할 때 엣지 배포가 선호됩니다. PyTorch, ONNX Runtime, OpenVINO, TensorRT 등 다양한 추론 프레임워크를 비교 분석했습니다. OpenVINO는 CPU에서, TensorRT는 GPU에서 가장 낮은 추론 시간을 달성했습니다.
평가 결과, Transformer 기반 모델에서는 TensorRT가 plain PyTorch보다 성능이 높지 않았습니다. 다양한 CPU 및 GPU 하드웨어 플랫폼과 CNN, Transformer 기반 모델을 포함했습니다.
본 연구는 엣지 환경에서의 머신 비전 추론 성능 비교를 위한 체계적인 분석을 제공합니다.