最新 | 熱門
產業消息 nvidia MLPerf 大型語言模型 Blackwell Llama 3.1 AI代理 多模態
NVIDIA Blackwell再度於MLPerf Training展現壓倒性性能，強調也是唯一提交所有V5.0測試項的平台
隨著基於NVIDIA Blackwell架構的系統陸續上線，NVIDIA與合作夥伴再度於新一輪的MLPerf提交測試結果，並呈現全面且壓倒性的領先優勢，這也是自2018年MLPerf基準測試推出後的第12輪測試，而NVIDIA在每一輪皆繳出最大規模效能，此次也實現在最新一版MLPerf v5.0基準測試繳交所有測試成果、包括Llama 3.1 405B預訓練的所有成果，是唯一提交所有MLPerf v5.0基準測試結果的平台，展現在大型語言模型、推薦系統、多模態大型語言模型、物體偵測與圖神經網路(GNN)的全面性。 ▲NVIDIA也繳交基於x86平台的DGX B200測試結果 NVIDIA此次大
Chevelle.fu
1 個月前
產業消息 nvidia gpu NVIDIA Hopper MLPerf 推論加速器 NVIDIA H100 大型語言模型 生成式AI Blackwell NVIDIA GB200 NVIDIA B200 NVIDIA H200
NVIDIA Hopper架構TensorRT-LLM使生成式AI推論提升近3倍，H200藉HBM3e記憶體散熱打破MLPerf推論紀錄
雖然NVIDIA甫在GTC 2024公布眾所矚目的全新Blackwell架構，但畢竟Blackwell仍要待到2024年下半年才會開始出貨，故目前最新的NVIDIA AI GPU加速產品為採用美光HBM3e記憶體的NVIDIA H200 Tensor Core GPU；NVIDIA公布全新的MLPerf測試成績，基於Hopper架構的H100借助TensorRT-LLM軟體突破MLPerf的生成式AI測試項突破原本的性能上限，於GPT-J LLM推論性能較6個月前提升近3倍，而陸續出貨的H200 GPU則透過容量、頻寬提升的HBM3e記憶體與更彈性的散熱，一舉刷新多項MLPerf的紀錄。 ▲包
Chevelle.fu
1 年前
科技應用 nvidia 超級電腦 人工智慧 MLPerf H100 Tensor Core GPU
NVIDIA H100 Tensor Core GPU 於MLPerf基準測試再創紀錄 訓練大型自然語言模型速度快上 3 倍
採用H100 Tensor Core GPU的NVIDIA EOS超級電腦完成GPT-3訓練的效率是先前紀錄的三倍，展現了在大型AI應用場景下的強大潛力。 NVIDIA表示，去年宣布推出的H100 Tensor Core GPU再次於MLPerf基準測試創下新紀錄，相比近半年前的紀錄快上3倍。 此次以10752組H100 Tensor Core GPU與Quantum-2 InfiniBand網路技術構成的NVIDIA EOS人工智慧超級電腦，在短短3.9分鐘內完成以Open AI GPT-3大型自然語言模型、多達1750億組參數的訓練基準，相比近半年前以10.9分鐘完成的紀錄，約快上3倍速度
Mash Yang
1 年前
產業消息 nvidia gpu MLPerf Grace Hopper SuperChip Jetson Orin NVIDIA L4 GH200 NVIDIA H100 GPU
NVIDIA GH200 Grace Hopper 超級晶片首度於 MLPerf 推論基準測試亮相且表現出色，
NVIDIA 宣布包括 NVIDIA GH200 、 NVIDIA H100 、 NVIDIA L4 GPU 與 Jetson Orin 等在 2023 年 9 月公布的 MLPerf 推論測試基準獲得出色且領先的表現，其中 NVIDIA GH200 Grace Hopper Superchip 更是首度提交 MLPerf 測試結果，展現透過整合 CPU 與 GPU 在單一超級晶片提供更多記憶體、頻寬以及主動平衡 CPU 與 GPU 電力帶來的效益；此外 NVIDIA 也公布針對大型語言模型的 TensorRT-LLM 軟體，進一步針對 NVIDIA 硬體特性、跨 GPU 與節點運算最佳化，使
Chevelle.fu
1 年前
產業消息 intel Xeon Scalable 加速器 MLPerf Habana Gaudi2
Intel 在 MLPerf 提出實績打破 NVIDIA 獨佔局面， Habana Gaudi2 成 NVIDIA 外唯一提交 GPT-3 LLM 結果方案
由於投入大量先前軟硬體準備以及積極開放軟體生態，現在 AI 產業產生僅有 NVIDIA 解決方案足以執行生成式 AI 與大型語言模型( LLM )訓練的迷思， Intel 在最新的 MLPerf 提交旗下包括 Habana Gaudi 2 深度學習加速器與第 4 代 Xeon Scalable 的成績，希冀以實證打破業界迷思，為希望擺脫單一生態系限制的客戶提供不同的選項。 其中最新的 MLPerf Traning 3.0 結果也證實 Habana Gaudi 2 具備完善的軟硬體技術，能在 GPT-3 獲得實證，並成為除了 NVIDIA 以外提交 GPT-3 LLM 訓練基準測試效能結果的半導
Chevelle.fu
2 年前
產業消息 AI MLPerf NVIDIA H100 ChatGPT 大型語言模型 生成式AI LLM
NVIDIA H100 GPU 於 MLPerf 首次亮相即創下生成式 AI 新標竿， CoreWeave 的 H100 GPU 集群在 11 分鐘完成 GPT-3 模型訓練
在 AMD 、 Intel 仍將 AI 性能指標的對照組放在前一世代的 NVIDIA A100 ，新一代的 NVIDIA H100 已經蓄勢待發； NVIDIA 宣布 NVIDIA H100 GPU 在 MLPerf 基準測試的首次亮相即位生成式 AI 樹立全新指標，由雲服務商 CoreWeave 以 3,584 個 NVIDIA H100 構成的大型集群在 11 分鐘內完成基於 GPT-3 大型模型的訓練，顯示 NVIDIA H100 在生成式 AI 的大型語言模型訓練有飛躍性的突破表現。 NVIDIA 預計在 2024 年公布 NVIDIA H100 後繼的 AI HPC 加速 GPU 產
Chevelle.fu
2 年前
產業消息 nvidia gpu AI MLPerf Jetson AGX Orin NVIDIA H100 NVIDIA L4
採用 Hopper 架構的 NVIDIA H100 與 NVIDIA L4 GPU 再度樹立 MLPerf 基準新高度， NVIDIA H100 藉軟體更新較初登場推論效能提高 54%
於 3 年前推出的 NVIDIA A100 是當前 AI 產業的性能基準指標，其它品牌的 AI 加速產品皆將 NVIDIA A100 視為比較目標，然而至今為止， NVIDIA A100 仍在作為 AI 業界公認標準的 MLPerf 測試項的訓練與推論有著不可動搖的表現；然而現在 AI 產業又要頭痛了，因為 NVIDIA 公布新一代產品 NVIDIA H100 與 NVIDIA L4 在 MLPerf 的表現，將推論性能提升至全新的水準，樹立全新的性能高牆，同時即便是結合最新生成式 AI 趨勢的 MLPerf 3.0 ， NVIDIA AI 產品依舊具備壓倒性的領先。 ▲相較去年 9 月初次亮
Chevelle.fu
2 年前
產業消息 nvidia hpc AI NVIDIA Hopper NVIDIA A100 NVIDIA Ampere MLPerf
NVIDIA Hopper H100 GPU 樹立 AI 訓練新指標， NVIDIA A100 借助軟體更新效能持續增長
NVIDIA 在 2022 年 9 月首度公開新一代代號 Hopper 的 NVIDIA H100 Tensor GPU 在 MLPerf 推論基準測試的效能，刷新當時的 MLPerf 效能紀錄；如今 NVDIA 再次公布 NVIDIA H100 在產業組織的人工智慧訓練最新測試成績，創下處理企業 AI 負載的新紀錄，大幅領先競爭對手產品，顯見 NVIDIA H100 是當前對建構與部署最先進 AI 並追求極致效能的用戶的最佳選擇；然而縱使是問世兩年的 NVDIA A100 ，借助持續的軟體升級， NVIDIA A100 Tensor GPU 仍打破去年所公布的成績。 ▲即便 NVIDIA H
Chevelle.fu
2 年前
產業消息 nvidia gpu 深度學習 機器學習 NVIDIA A100 MLPerf
NVIDIA 與合作夥伴公布最新 MLPerf 基準測試，不僅效能出色且仍為唯一執行所有測試項目的運算平台
NVIDIA 可說是引領異構加速 AI 技術的廠商，不過隨著 AI 加速技術廣泛被市場採納，有越來越多的競爭對手也推出 AI 加速器產品，並試圖挑戰 NVIDIA 的領先地位； NVIDIA 稍早公布第四年參與 MLPerf 基準測試成績，除了仍在各項基準測試維持出色的成績，已經上市兩年的 NVIDIA A100 GPU 仍席捲各項測試成績，在 8 項訓練測試奪下 6 項最快完成的成績，同時也是唯一一款能夠完成 MLPerf 訓練 2.0 八個完整測試項的平台，顯見 NVIDIA 加速平台不僅具備高效能，也能涵蓋各類主流 AI 訓練與加速。 ▲ NVIDIA 的 Saleen 超算 AI 系統
Chevelle.fu
3 年前
科技應用 nvidia gpu 人工智慧 MLPerf
NVIDIA 更新 MLPerf 1.0 版本 強調 GPU 用於 AI 人工智慧推論加速仍是最佳選擇
透過GPU協助推論加速運算，奇異醫療藉此在每年1.45億名患者中主動判斷是否罹患心臟疾病，或是在Pinterest中超過3000億筆資料中挖掘熱門趨勢，T-Mobile則藉此打造人工智慧線上客服，微軟則藉此精進旗下拼字檢查功能Grammer服務，美國郵政則以此協助即時分析每年超過70億個郵件包裹，微信則將GPU加速推論效果應用在旗下智慧搜尋功能，美國運通則以此強化詐欺行為即時偵測效果。 甚至比Arm架構處理器有更高節電效果 過去針對人工智慧訓練及推論效能表現，NVIDIA已經與學術界、研究實驗室與業界合作，提出可針對硬體、軟體及服務在人工智慧訓練與推論效能表現提供公允量化評估的計算方式MLPe
Mash Yang
4 年前

相關文章