GTC 2023 : NVIDIA 與多家合作夥伴公布基於 NVIDIA H100 Tensor Core GPU 的新產品與服務,滿足對生成式 AI 訓練與推論的增長需求

2023.03.22 01:00AM

NVIDIA 在 2022 年 GTC 公布新世代的 NVIDIA H100 Tensor Core GPU ,藉由嶄新的架構還有突破性的 Transformer Engine ,能為通用運算與新一代生成式 AI 帶來極大的效能提升,當時多家宣布導入的大型服務商也逐步開始提供基於 NVIDIA H100 Tensor Core GPU 的產品與服務, NVIDIA 在 GTC 2023 也攜手合作夥伴公布多項基於 NVIDIA H100 Tensor Core GPU 的產品與服務。

▲微軟將開放 H100 實例的非公開預覽版

包括 Oracle Cloud Infrastructure 與多家雲服務商宣布在其雲平台提供 NVIDIA H100 Tensor Core GPU ; AWS 還將推出 P5 實例的 EC2 UltraClusters ,可提供最多 20,000 個互連的 H100 GPU ;微軟 Azure 則在 GTC 前夕公布提供 NVIDIA H100 的非公開預覽服務; Meta 為內部 AI 生成與研究團隊佈署了基於 NVIDIA H100 的 Grand Teton AI 超算系統。

NVIDIA H100 除了架構、基本效能與記憶體容量較前一代產品大幅提升外,對於開發、訓練與佈署生成式 AI 、 大型語言模型 LLM 與推薦系統還具備創新的 Transformer Engine ,能夠利用 FP8 精度執行 AI 負載並維持與相當的精度,以 LLM 為例,對比 A100 提升 9 倍訓練速度,推論速度則高出 30 倍。

▲借助 Transformer Engine ,大幅提升如 ChatGPT 一類的 AI 訓練與推論效能

另外文字產生圖片 AI 技術先驅 Stability.ai 是 AWS 的 H100 實例的早期用戶,並預計透過 H100 加速其影像、 3D 與多模式模型;推出 AI 輔助故事創作與文字自圖像服務的 NovelAI 的 Anlatan 則透過 CoreWave 的雲平台提供的 H100 實例進行模型創建與推論。

日本數位廣告與網路服務公司 CyberAgent 也正利用 AI 創作數位廣告與名人的數位孿生化身;美國最大的大學附設研究中心、約翰霍普金斯大學應用物理實驗室也正使用 NVIDIA H100 訓練大型語言模型;斯德哥爾摩 KTH 皇家理工學院則透過 DGX H100 提供高等教育最先進的計算機課程;日本三井物產將透過 DGX H100 打造全球首款針對藥物的生成式 AI 超算系統 Tokyo-1 。厄瓜多電信商 Telconet 將透過 DGX H100 系統作為智慧城市安全建構智慧影像分析技術。

相關消息

開箱評測
全能AI筆電GIGABYTE AERO X16開箱實測:外型質感設計,搭配強勁性能,成為電競玩家、創作者與專業工作者的全能夥伴!
癮特務
3 天前
遊戲天堂
FCC電檢照片顯示華碩將推出一黑一白兩款ROG Ally 2電競掌機,增強握柄人體工學、黑色機型可能為Xbox認證機型
Chevelle.fu
1 個月前
在地生活
吉伊卡哇廠商限定圖片外流 日方決定取消台灣訂單
討喜小姐
1 個月前
產業消息
Sony WH-1000XM6、WF-1000XM5兩款旗艦無線耳機更新韌體,藍芽連接模式新增基於LE Audio的低延遲選項
Chevelle.fu
1 天前
開箱評測
Cooler Master NCORE 100 Air直立式ITX風冷機殼評測,超小占地面積能容高規格系統的精緻機殼
Chevelle.fu
1 個月前
產業消息
Sony將在5月13日公布Xperia 1 VII,首支預告聚焦Alpha相機技術
Chevelle.fu
1 個月前
開箱評測
不想要耳塞 Sony無線降噪耳機折590元 平價降噪耳罩式耳機可選它
Tandee
1 個月前
產業消息
三星旗下HARMAN收購持有B&W、天龍馬蘭士的Sound United
Chevelle.fu
1 個月前
關於android播放3gp內含AAC無法撥放問題
hanawa
15 年前