NVIDIA 在中國 GTC 宣布 TensorRT 3 ,加速大型資料中心 AI 推論

NVIDIA 在稍早的中國 GTC大會宣布 TensorRT 3推論軟體,能夠應用在包括影像與語音辨識、自然語言處理、圖像搜尋與個人化建議等各類 AI應用領域,並且標榜 TensorRT搭配 NVIDIA Tesla加速器僅需 CPU 解決方案 1/10 成本,卻能在相同的應用中發揮 40 倍推論效能。

TensorRT 3 主要針對江 AI 部屬到線上產品,為具備最佳化高效能編程器與執行引擎,能夠針對類神經網路進行快速最佳化與驗證後用於於推論,能夠將訓練完的類神經網路導入超大型資料中心以及車用 GPU 平台; TensorRT 具備高精度 INT8 、 FP16 浮點運算能力,相較其他訓練框架能具備 3 到 5 倍的推論解決方案。

在宣布 TensorRT 3 同時, NVIDIA也一併宣布 Deep Stream 9 SDK與 CUDA 9 兩項軟體; Deep Stream 9 可提供滴延遲的大規模影像即時分析功能,可作為整合先進影片推論功能之用,具備 INT8 精度與 GPU 加速轉碼,可藉由 Tesla P4 GPU 進行達 30 路 HD 解析度串流影片內容;至於 CUDA 9為 NVIDIA新一代加速運算軟體平台,能夠藉由支援 Volta 架構 GPU ,使函式庫、針對執行緒管理的全新編程模型、更新版除厝與分析工具提升 5 倍性能,使 HPC 與深度學習效率更強大。

0 則回應

聯發科「Sensio」智慧健康晶片 手機60秒健檢OK 聯發科「Sensio」智慧健康晶片 手機60秒健檢OK 就在剛剛
FCC廢網路中立性 Anonymous將發動毀滅性網路攻擊 FCC廢網路中立性 Anonymous將發動毀滅性網路攻擊 58 分鐘前
代號 Fenghuang Raven 的 AMD APU 曝光,具 28 個 CU 與 2GB 記憶體 代號 Fenghuang Raven 的 AMD APU 曝光,具 28 個 CU 與 2GB 記憶體 2 個小時前
迪士尼豪擲1.57兆收購福斯 X戰警、死侍回歸Marvel家族 迪士尼豪擲1.57兆收購福斯 X戰警、死侍回歸Marvel家族 16 個小時前
荷蘭警方雇用老鷹反制無人機 成效太差被開除 荷蘭警方雇用老鷹反制無人機 成效太差被開除 18 個小時前

熱門文章

最新消息