NVIDIA 在 SC19 宣布與 DataDirect Networks、 Excelero、 IBM、 Mellanox 、 WekaIO 共同開發一套專為加速大量數據處理的軟體,名為 NVIDIA Magnum IO ,這項軟體技術透過最佳化方式,使跨多主機、多 GPU 等環境提升海量數據處理速度,對於像是財務分析、氣候模型一類的大量數據處理,最高可提升 20 倍數據處理速度。
▲ Magnum IO 軟體使數據資料繞過 CPU 直接傳輸到主要負責執行處理 GPU ,加速大量數據處理效率
Magnum IO 的核心是建構在 GPUDirect 之上,可使位於儲存上的數據不須經過 CPU 就直接進入 GPU ,省卻繁雜的多次傳送,達到加速海量數據傳輸的性能; GPUDirect 透過點對點與 RDMA 構成,能夠在包括 NVIDIA NVLink 和 NCCL 以及 OpenMPI 和 UCX 等連接技術與 API 使用。
NVIDIA 也預計在 2020 年推出針對儲存設備直接連接 GPU 的 GPUDirect Storage ,這項技術可使儲存內的資料同樣繞過 CPU ,直接傳輸到 GPU ,對模擬、分析、可視化等應用可望達到顯著的提升。
NVIDIA Magnum IO 軟體已經正式推出,並提供給早期客戶進行試用,預計在 2020 年追加針對儲存直連的 GPUDirect Storage 。