NVIDIA H100 GPU 是目前市場上 AI 效能最高的 GPU 加速產品，不過撇除 AI 之外它的一般效能到底如何也令人相當好奇；中國媒體極客灣弄來 4 張 NVIDIA H100 PCIe 版本進行實測，從 AI 到娛樂與內容創作進行測試，從結果更令人感受到 NVIDIA H100 並非民生級產品的特性，因為在 AI 效能輾壓的另一面，由於缺乏對應的驅動， NVIDIA H100 遊戲性能甚至不及 AMD 新一代的內顯。
為資料中心設計的被動風冷結構
▲ NVIDIA H100 PCIe 採用被動風冷，仰賴伺服器統一風道設計排熱
NVIDIA H100 PCIe 是針對 AI 工作站設計的產品，故在設計上採用統一風道的被動散熱，利用系統內部的風扇進行後向排熱，這也是當前風冷式工作站常見的前進氣、後排熱風道，同時由於是針對 AI 運算，故也如專用礦卡一樣取消顯示輸出的功能。不過極客灣並未弄來伺服器，而是在一般消費級主機板進行測試，故他們利用 3D 列印製作集風遮罩並外掛風扇，另外加裝一張用於顯示輸出的顯示卡。
相較 SXM 版本， PCIe 版本的核心完整度與效能相對受限，主要是由於 SXM 版本是追求進一步的極致效能，而 PCIe 版本多用於邊際運算系統應用，具備 114 個 SM 單元，能耗也限制在最高 350W TDP ，不過同樣配有 80GB 的 HBM 記憶體。
消費級平台多卡串接效率提升不佳，娛樂缺乏正確驅動性能嚴重受限
在極客灣的測試當中呈現這類原本用於伺服器的產品並不適合在一般消費級環境的使用限制，例如測試現在相當熱門的 Stable AI Diffusion 時，由於 Xformers 不支援 H100 (畢竟誰會在一張單價超過 3 萬美金的 AI 加速卡執行 Stable AI Diffusion )效能略遜於 GeForce RTX 4090 ，後來改用 Donut 之後，雖然效能以 30% 差距輾壓 RTX 4090 與可視為孿生版的 RTX 6000 Ada GPU ，但受限一般消費級平台的架構，啟用第二張 NVIDIA H100 之後到第四張 NVIDIA H100的效能提升幅度並未呈現等比提升，串接的張數越多，提升的幅度越小。另外受惠 80GB HBM 的記憶體容量與高頻寬，如著重記憶體密集效能的 VITS 訓練，或是超大型的 LLM 語言模型等 RTX 4090 難以執行的項目都能如魚得水，同時在 HPC 專業負載的 LAMMP 更是證實消費級產品無法負擔超算需求的差異性。
不過若把測試範圍轉換到娛樂，那 NVIDIA H100 的表現就低的荒謬，主要的原因不在於架構，而是由於缺乏正確的驅動程式，畢竟 NVIDIA 並未推出針對 NVDIA H100 的通用驅動程式，導致在一般遊戲測試效能甚至低於 AMD Radeon 680M 內顯，其中在碧血狂殺 2 的測試，可以看到 GPU 的功耗僅使用到 100W ，遠低於 NVIDIA H100 的 300W 以上 TDP 。
1 則回應