NVIDIA H100 以較 NVIDIA A100 達 4.5 倍效能創下 MLPerf 世界紀錄, Jetson AGX Orin 仍為邊際運算之霸

2022.09.09 01:00AM
照片中包含了建築、創意總監、建築、領英、導向器

於 2020 年問世的 NVIDIA A100 仍是包括 Intel 與 AMD 在內的加速運算最大假想敵,皆作為 Intel 與 AMD 公布新一代加速產品時的首要目標,然而 NVIDIA 在今年 GTC 公布新一代 Hopper 架構的 NVIDIA H100 Tensor Core GPU ,也令人好奇 NVIDIA H100 在實際情境是否如同 NVIDIA 所敘述般的出色; NVIDIA 今日首度公布 NVIDIA H100 在人工智慧測試基準 MLPefr 的成績,除了再度創下世界紀錄外,更較 NVIDIA A100 高出 4.5 倍性能。 NVIDIA H100 預計在 2022 年底上市,屆時將參與 MLPerf 日後的訓練測試。

NVIDIA A100 是當前廣泛被各式高效能 AI 訓練系統所採用的加速運算硬體,然而 NVIDIA H100 則以大幅突破的數據證實突破性的效能表現,對於有最先進 AI 模型高效能需求的用戶, NVIDIA H100 絕對是當前的首選;然而 NVIDIA A100 雖已成前一代的產品,但在主流級應用除了仍有出色的表現外,架構的一致性與 NVIDIA 及合作夥伴共同建立的生態圈與高度相容性也是其它競品無法望其項背;而作為邊際運算與 AI 機器人應用的 NVIDIA Jetson AGX Orin 模組,也展現在影像、自然語言處理、推薦系統出色的表現。

▲ NVIDIA H100 相較 NVIDIA A100 在神經網路測試項有著最高 4.5 倍的效能

代號 Hopper 的 NVIDIA H100 在此次的六項神經網路中提高單一加速器的效能標準,無論是在獨立伺服器或離線,傳輸量與速度皆呈現壓倒性的表現,同時也別忘了縱使是 NVIDIA A100 的效能也仍在這六大測試項目相較其它四款競品有壓倒性的效能,部分競品甚至僅有執行其中一項測試項的能力。

▲ NVIDIA A100 仍在邊際伺服器的表現全面且出色

NVIDIA A100 GPU 是作為當前整個 AI 加速業界運算的指標性產品,縱使 NVIDIA H100 即將上市,但仍不減其表現,自 2020 年 7 月首度參與 MLPerf 基準測試,借助 NVIDIA AI 軟體持續改善,效能提高達 6 倍,除了資料中心測試的表現外,在邊際運算亦展現凸出的效能,且同樣能夠執行所有 MLPerf 完整的邊際運算測試項。

▲ Jetson AGX Orin 在低功耗 SoC 的表現一枝獨秀,並相較 4 月表現提升 50% 能源效率

NVIDIA 持續改善的 AI 軟體也嘉惠到著重節能的單晶片, NVIDIA Jetson AGX Orin 原本在 MLPerf 邊際運算的表現就多半勝過其它低功耗 SoC 競品,隨著導入新一代軟體,相較今年 4 月提升 50% 能源效率,且在前一回合的測試,具備 Ampere 與 Arm CPU 的新架構已經比起上一代 Jetson AGX Xavier 模組快 5 倍與高出 2 倍能源效率。

雖然目前諸多競爭對手皆強調具備比起 NVIDIA A100 更出色的純效能與測試成績,然而透過由 AI 業界多家領導性廠商所制定的 MLPerf ,則能看到 NVIDIA 在實際 AI 應用的表現, NVIDIA 的 GPU 加速產品不光是具備出色的理論效能與主流 AI 應用的執行相容性,更藉由持續精進的 AI 軟體,在產品週期內亦可持續獲得效能改善,對於希冀 AI 系統能夠在生命週期因應不斷變化的產業需求、同時縱使進行硬體升級也能延續當前的開發成果, NVIDIA 的 GPU 也是少數能提供架構一致性與積極軟體更新的產品。