NVIDIA TensorRT - Inference 최적화 및 가속화를 위한 NVIDIA의 Toolkit - NVIDIA Blog Korea
TensorRT는 학습된 Deep Learning 모델을 최적화하여 NVIDIA GPU 상에서의 Inference 속도를 수배 ~ 수십배 까지 향상시켜 Deep Learning 서비스 TCO (Total Cost of Ownership) 를 개선하는데 도움을 줄 수 있는 모델 최적화 엔진입니다.
Pytorch를 TensorRT로 변환하기 위한 환경 설정
Pytorch와 TensorRT를 이용한 딥 러닝 추론 최적화