產業消息 nvidia gpu python H100 大型語言模型 LLM NVIDIA TensorRT-LLM NVIDIA 以開源的 TensorRT-LLM 強化 NVIDIA H100 GPU 的大型語言推論性能，具經最佳化調整內核、前處理與後處理步驟及多 GPU 、多節點通訊基元 NVIDIA 能在 AI 領域持續引領風騷，不僅只是靠出色的硬體以及在對的時間推出合宜的產品，更重要的是長期在軟體與社群耕耘，並持續與產業夥伴開發各式工具降低進入 AI 領域的門檻； NVIDIA 於 2023 年 9 月宣布將在未來幾週公布開源的 NVIDIA TensorRT-LLM 軟體，強調將使開發者不須深厚的 C++ 或 NVIDIA CUDA 即可嘗試新的大型模型，並提供峰值效能與快速自訂功能。 NVIDIA TensorRT-LLM 已開放早期適用，預計在不久後整合至隸屬 NVIDIA AI Enterprise 的 NVIDA NeMo 框架。TensorRT for Larg Chevelle.fu 1 年前
汽車未來 俥科技 AI 超級電腦 Tesla NVIDIA H100 Tesla 將斥資 3 億美金建構由 1 萬張 NVIDIA H100 建構的自動駕駛技術用 AI 超級電腦 Tesla 是 NVIDIA 車載自動駕駛平台的初期用戶，初期 Tesla 在車輛使用的先進輔助駕駛平台來自 NVIDIA 的 Tegra 系列，但也早早就在車輛量產轉向自主設計的 FSD 平台，不過當前自動駕駛技術仍須高效能的超級電腦系統進行模擬與 AI 模型訓練， Tesla 仍在自有的超級電腦持續採用 NVIDIA 的 AI 加速技術；Tesla 繼 2021 年架設採用 5,760 個 NVIDIA A100 的超級電腦後，將再次斥資 3 億美金建構高達 1 萬張 NVIDIA H100 的自動駕駛技術用超算系統，性能將比現行系統高出五倍，達 340 FP64 PFLOPS 算力。 T Chevelle.fu 1 年前
產業消息 AI MLPerf NVIDIA H100 ChatGPT 大型語言模型 生成式AI LLM NVIDIA H100 GPU 於 MLPerf 首次亮相即創下生成式 AI 新標竿， CoreWeave 的 H100 GPU 集群在 11 分鐘完成 GPT-3 模型訓練 在 AMD 、 Intel 仍將 AI 性能指標的對照組放在前一世代的 NVIDIA A100 ，新一代的 NVIDIA H100 已經蓄勢待發； NVIDIA 宣布 NVIDIA H100 GPU 在 MLPerf 基準測試的首次亮相即位生成式 AI 樹立全新指標，由雲服務商 CoreWeave 以 3,584 個 NVIDIA H100 構成的大型集群在 11 分鐘內完成基於 GPT-3 大型模型的訓練，顯示 NVIDIA H100 在生成式 AI 的大型語言模型訓練有飛躍性的突破表現。 NVIDIA 預計在 2024 年公布 NVIDIA H100 後繼的 AI HPC 加速 GPU 產 Chevelle.fu 2 年前
產業消息 nvidia AI 加速器 NVIDIA H100 中國媒體實測 NVIDIA H100 GPU PCIe 版效能， AI 效能輾壓但遊戲缺驅動甚至輸內顯 NVIDIA H100 GPU 是目前市場上 AI 效能最高的 GPU 加速產品，不過撇除 AI 之外它的一般效能到底如何也令人相當好奇；中國媒體極客灣弄來 4 張 NVIDIA H100 PCIe 版本進行實測，從 AI 到娛樂與內容創作進行測試，從結果更令人感受到 NVIDIA H100 並非民生級產品的特性，因為在 AI 效能輾壓的另一面，由於缺乏對應的驅動， NVIDIA H100 遊戲性能甚至不及 AMD 新一代的內顯。 為資料中心設計的被動風冷結構 ▲ NVIDIA H100 PCIe 採用被動風冷，仰賴伺服器統一風道設計排熱 NVIDIA H100 PCIe 是針對 AI 工作站 Chevelle.fu 2 年前
產業消息 nvidia gpu AI MLPerf Jetson AGX Orin NVIDIA H100 NVIDIA L4 採用 Hopper 架構的 NVIDIA H100 與 NVIDIA L4 GPU 再度樹立 MLPerf 基準新高度， NVIDIA H100 藉軟體更新較初登場推論效能提高 54% 於 3 年前推出的 NVIDIA A100 是當前 AI 產業的性能基準指標，其它品牌的 AI 加速產品皆將 NVIDIA A100 視為比較目標，然而至今為止， NVIDIA A100 仍在作為 AI 業界公認標準的 MLPerf 測試項的訓練與推論有著不可動搖的表現；然而現在 AI 產業又要頭痛了，因為 NVIDIA 公布新一代產品 NVIDIA H100 與 NVIDIA L4 在 MLPerf 的表現，將推論性能提升至全新的水準，樹立全新的性能高牆，同時即便是結合最新生成式 AI 趨勢的 MLPerf 3.0 ， NVIDIA AI 產品依舊具備壓倒性的領先。 ▲相較去年 9 月初次亮 Chevelle.fu 2 年前
產業消息 nvidia AI Azure H100 aws Hopper NVIDIA H100 GTC 2023 ： NVIDIA 與多家合作夥伴公布基於 NVIDIA H100 Tensor Core GPU 的新產品與服務，滿足對生成式 AI 訓練與推論的增長需求 NVIDIA 在 2022 年 GTC 公布新世代的 NVIDIA H100 Tensor Core GPU ，藉由嶄新的架構還有突破性的 Transformer Engine ，能為通用運算與新一代生成式 AI 帶來極大的效能提升，當時多家宣布導入的大型服務商也逐步開始提供基於 NVIDIA H100 Tensor Core GPU 的產品與服務， NVIDIA 在 GTC 2023 也攜手合作夥伴公布多項基於 NVIDIA H100 Tensor Core GPU 的產品與服務。 ▲微軟將開放 H100 實例的非公開預覽版 包括 Oracle Cloud Infrastructure 與多 Chevelle.fu 2 年前
產業消息 NVIDIA GTC nvlink 推論加速器 NVLink-C2C Grace Hopper SuperChip 語言模型 NVIDIA L40 ChatGPT NVIDIA L4 GTC 2023 ： NVIDIA 公布著重低能耗的 NVIDIA L4 Tensor Core GPU 以及針對大型語言模型佈署的 NVIDIA H100 NVL 加速模組，迎接 AI 的「 iPhone 時代」 NVIDIA 宣布擴大採用新世代架構的推論產品新陣容，在 GTC 2023 公布針對基礎設施與低功耗的 NVIDIA L4 GPU ，以及針對大型語言模型佈署、採用高相容性 PCIe 介面的 NVIDIA H100 NVL 模組。在這兩項推論新品加入陣容後，與先前已經公布的 NVIDIA L40 GPU 、 Grace Hopper Superchip 構成基於新世代架構的推論產品線。 NVIDIA 希冀藉由更廣泛且彈性的加速運算系統，迎接 AI 的「 iPhone 時代」(註：指 AI 將迎來如 iPhone 帶動智慧手機一樣的時期)。 NVIDIA Grace Hopper Superch Chevelle.fu 2 年前
科技應用 nvidia 超級電腦 a100 Azure 人工智慧 H100 GPU NVIDIA 將在微軟 Azure 雲端平台 部署 A100 及 H100 GPU 建構「超級電腦」 等級運算能力 目前在Azure雲端平台的執行個體中，將採用NVIDIA A100 GPU，搭配傳輸速率可達200Gbps的InfiniBand網路技術，後續也會增加NVIDIA H100 GPU，以及傳輸速率可達400Gbps的InfiniBand網路技術。 NVIDIA宣布與微軟合作，將在微軟旗下Azure雲端平台加入數以萬計的NVIDIA A100及H100 GPU加速元件，藉此在雲端平台建構超級電腦運算能力。 在此項合作中，將使Azure成為第一個搭載NVIDIA完整人工智慧加速運算解決方案的公有雲，透過A100、H100 GPU加速能力、InfiniBand網路串聯技術，以及NVIDIA旗下人工智慧 Mash Yang 2 年前
產業消息 nvidia hpc AI NVIDIA Hopper NVIDIA A100 NVIDIA Ampere MLPerf NVIDIA Hopper H100 GPU 樹立 AI 訓練新指標， NVIDIA A100 借助軟體更新效能持續增長 NVIDIA 在 2022 年 9 月首度公開新一代代號 Hopper 的 NVIDIA H100 Tensor GPU 在 MLPerf 推論基準測試的效能，刷新當時的 MLPerf 效能紀錄；如今 NVDIA 再次公布 NVIDIA H100 在產業組織的人工智慧訓練最新測試成績，創下處理企業 AI 負載的新紀錄，大幅領先競爭對手產品，顯見 NVIDIA H100 是當前對建構與部署最先進 AI 並追求極致效能的用戶的最佳選擇；然而縱使是問世兩年的 NVDIA A100 ，借助持續的軟體升級， NVIDIA A100 Tensor GPU 仍打破去年所公布的成績。 ▲即便 NVIDIA H Chevelle.fu 2 年前
產業消息 nvidia 顯示卡 GeForce RTX GeForce RTX 4090 傳 NVIDIA 有意將 GeForce RTX 4090 產線挪做生產 NVIDIA H100 AI GPU 使用，傳由於考慮利潤與中國銷售禁令 NVIDA 在 10 月 12 日正式推出全新消費級旗艦顯示卡 GeForce RTX 4090 ，雖然 1,599 美金起的訂價再創歷史新高，不過從目前歐美市場的情況來看仍舊一卡難求(台灣通路則有特定品牌庫存)，不過現在傳出 NVIDIA 有意將 GeForce RTX 4090 的產能挪為生產 NVIDIA H100 AI GPU 使用。 ▲一張 NVIDIA H100 的價格可抵至少 5 張 GeForce RTX 4090 ，產能有限情況下當然會挑獲利高的 根據爆料的說法即便 NVIDIA GeForce RTX 4090 仍有龐大的市場商機，但 NVIDIA 仍有意將產能挪做 NVI Chevelle.fu 2 年前
