NVIDIA 在 2022 年 GTC 公布新世代的 NVIDIA H100 Tensor Core GPU ，藉由嶄新的架構還有突破性的 Transformer Engine ，能為通用運算與新一代生成式 AI 帶來極大的效能提升，當時多家宣布導入的大型服務商也逐步開始提供基於 NVIDIA H100 Tensor Core GPU 的產品與服務， NVIDIA 在 GTC 2023 也攜手合作夥伴公布多項基於 NVIDIA H100 Tensor Core GPU 的產品與服務。
▲微軟將開放 H100 實例的非公開預覽版
包括 Oracle Cloud Infrastructure 與多家雲服務商宣布在其雲平台提供 NVIDIA H100 Tensor Core GPU ； AWS 還將推出 P5 實例的 EC2 UltraClusters ，可提供最多 20,000 個互連的 H100 GPU ；微軟 Azure 則在 GTC 前夕公布提供 NVIDIA H100 的非公開預覽服務； Meta 為內部 AI 生成與研究團隊佈署了基於 NVIDIA H100 的 Grand Teton AI 超算系統。
NVIDIA H100 除了架構、基本效能與記憶體容量較前一代產品大幅提升外，對於開發、訓練與佈署生成式 AI 、 大型語言模型 LLM 與推薦系統還具備創新的 Transformer Engine ，能夠利用 FP8 精度執行 AI 負載並維持與相當的精度，以 LLM 為例，對比 A100 提升 9 倍訓練速度，推論速度則高出 30 倍。
▲借助 Transformer Engine ，大幅提升如 ChatGPT 一類的 AI 訓練與推論效能
另外文字產生圖片 AI 技術先驅 Stability.ai 是 AWS 的 H100 實例的早期用戶，並預計透過 H100 加速其影像、 3D 與多模式模型；推出 AI 輔助故事創作與文字自圖像服務的 NovelAI 的 Anlatan 則透過 CoreWave 的雲平台提供的 H100 實例進行模型創建與推論。
日本數位廣告與網路服務公司 CyberAgent 也正利用 AI 創作數位廣告與名人的數位孿生化身；美國最大的大學附設研究中心、約翰霍普金斯大學應用物理實驗室也正使用 NVIDIA H100 訓練大型語言模型；斯德哥爾摩 KTH 皇家理工學院則透過 DGX H100 提供高等教育最先進的計算機課程；日本三井物產將透過 DGX H100 打造全球首款針對藥物的生成式 AI 超算系統 Tokyo-1 。厄瓜多電信商 Telconet 將透過 DGX H100 系統作為智慧城市安全建構智慧影像分析技術。
0 則回應