GTC 2023 : NVIDIA 公布著重低能耗的 NVIDIA L4 Tensor Core GPU 以及針對大型語言模型佈署的 NVIDIA H100 NVL 加速模組,迎接 AI 的「 iPhone 時代」

2023.03.22 01:00AM

NVIDIA 宣布擴大採用新世代架構的推論產品新陣容,在 GTC 2023 公布針對基礎設施與低功耗的 NVIDIA L4 GPU ,以及針對大型語言模型佈署、採用高相容性 PCIe 介面的 NVIDIA H100 NVL 模組。在這兩項推論新品加入陣容後,與先前已經公布的 NVIDIA L40 GPU 、 Grace Hopper Superchip 構成基於新世代架構的推論產品線。 NVIDIA 希冀藉由更廣泛且彈性的加速運算系統,迎接 AI 的「 iPhone 時代」(註:指 AI 將迎來如 iPhone 帶動智慧手機一樣的時期)。

NVIDIA Grace Hopper Superchip 與 NVIDIA H100 NVL GPU 預計在 2023 年下半年推出, NVIDIA L4 與 NVIDIA L40 兩款加速產品已陸續由合作夥伴與雲服務商開始提供;其中 NVIDIA L4 GPU 可透過 Google Cloud Platform 開放非公開預覽。

▲ NVIDIA L4 著重於影像處理,強調一台具倍 8 張 L4 的伺服器具倍等同百台雙 CPU 插槽的伺服器

NVIDIA L4 是著重節能與高效率的推論產品,適用於邊際運算基礎設施領域、尤其針對影像處理,採用易於安裝的單槽 Low-Profile 設計, NVIDIA 強調 NVIDIA L4 相較前一代同級產品提升 4 倍圖形效能與 2.7 倍 AI 效能,對比 CPU 具備 120 倍的 AI 影像效能與提升 99% 的能源效率,並具備支援任何可使用通用 GPU 的工作負載,並具備增強影像編碼、轉碼、擴增實境與生成式 AI 影像。

▲ NVIDIA H100 NVL 模組式將兩張 H100 以 NVLink 進行連接,但仍採用伺服器系統主流的 PCIe 介面與 CPU 溝通
▲ H100 NVL 相較 A100 在執行 Chat-GPT 更具效能與成本效益

NVIDIA H100 NVL 則是鎖定佈署大型語言模型( LLM )的市場需求,例如大型 ChatGPT 模型,借助 NVLink 將兩張 NVIDIA H100 進行連接,再以 PCIe 與 CPU 系統連接,等同提供 94GB 的單卡記憶體,相較資料中心級的 NVIDIA A100 ,借助新架構與支援 Transformer Engine ,可在 GPT-3 推論提升 12 倍效能。

▲ L40 相當適合生成式 AI 應用

至於 NVIDIA L40 則是針對圖形與支援 AI 的 2D 、影片與 3D 等內容生成 AI 的重要產品,也是第三代 OVX 圖型運算系統的關鍵組件,作為執行 NVIDIA Omniverse 進行數位孿生,相較上一代產品提升 7 倍推論性能與 12 倍的 Omniverse 效能。

▲ Grace Hopper Superchip 能為推薦模型提供出色的效能

而基於 NVIDIA Grace Hopper Superchip 則能為推薦模型提供出色的效能,借助高達 900GB/s 頻寬的 NVLink-C2C 使 CPU 與 GPU 能高速溝通,相較使用 PCIe Gen 5 串接的 Grace CPU 與 Hopper GPU , Grace Hopper Superchip 具備 7 倍的溝通頻寬。

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
3 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
應用教學
國家鐵道博物館開館 6處古蹟、8大展覽必參觀 藍皮火車預約搭乘方法看這裡
Zero圈圈
1 天前
開箱評測
2吋大螢幕、7.9mm羽量級厚度 Garmin Venu X1智慧手錶評測心得
Tandee
1 天前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
9 天前
App
三星One UI 8以Android桌面模式取代DeX
Chevelle.fu
3 天前
《奇妙之旅》家族競技展開 熱鬪場內容介紹
皮耶哈
15 年前
快訊
伊良可樂台灣首店即將開幕!排不到可以試試這款糖漿,肥仔快樂水自己做。
Shopping guide
1 天前
文化創意
日本Sony宣布LinkBuds Fit與初音未來合作 限量500套加贈壓克力架與AR模型
Chevelle.fu
1 天前