NVIDIA 在稍早的中國 GTC大會宣布 TensorRT 3推論軟體，能夠應用在包括影像與語音辨識、自然語言處理、圖像搜尋與個人化建議等各類 AI應用領域，並且標榜 TensorRT搭配 NVIDIA Tesla加速器僅需 CPU 解決方案 1/10 成本，卻能在相同的應用中發揮 40 倍推論效能。
TensorRT 3 主要針對江 AI 部屬到線上產品，為具備最佳化高效能編程器與執行引擎，能夠針對類神經網路進行快速最佳化與驗證後用於於推論，能夠將訓練完的類神經網路導入超大型資料中心以及車用 GPU 平台； TensorRT 具備高精度 INT8 、 FP16 浮點運算能力，相較其他訓練框架能具備 3 到 5 倍的推論解決方案。
在宣布 TensorRT 3 同時， NVIDIA也一併宣布 Deep Stream 9 SDK與 CUDA 9 兩項軟體； Deep Stream 9 可提供滴延遲的大規模影像即時分析功能，可作為整合先進影片推論功能之用，具備 INT8 精度與 GPU 加速轉碼，可藉由 Tesla P4 GPU 進行達 30 路 HD 解析度串流影片內容；至於 CUDA 9為 NVIDIA新一代加速運算軟體平台，能夠藉由支援 Volta 架構 GPU ，使函式庫、針對執行緒管理的全新編程模型、更新版除厝與分析工具提升 5 倍性能，使 HPC 與深度學習效率更強大。
