NVIDIA 技術長指稱加密幣對社會一點用都沒有,還不如把運算資源拿去做聊天機器人
雖然 NVIDIA 靠著幾年前的加密貨幣狠狠賺了一大筆,不過加密貨幣對於 NVIDIA 可能是個矛盾的產業;根據 NVIDIA 技術長 Michael Kagan 接受衛報採訪時指稱,加密幣對於人類社會並沒有創造任何價值,不如將這些算力用於發展 ChatGPT 一類的聊天機器人;附帶一提的是, Michael Kagan 是 Mellanox 的創辦人與技術長,在 Mellanox 被 NVIDIA 收購後, 2020 年開始擔任 NVIDIA 的技術長。 ▲ Michael Kagan 是原 Mellanox 聯合創辦人暨技術長,在公司被 NVIDIA 收購後於 2020 年擔任 NVIDI
2 年前
採用 Hopper 架構的 NVIDIA H100 與 NVIDIA L4 GPU 再度樹立 MLPerf 基準新高度, NVIDIA H100 藉軟體更新較初登場推論效能提高 54%
於 3 年前推出的 NVIDIA A100 是當前 AI 產業的性能基準指標,其它品牌的 AI 加速產品皆將 NVIDIA A100 視為比較目標,然而至今為止, NVIDIA A100 仍在作為 AI 業界公認標準的 MLPerf 測試項的訓練與推論有著不可動搖的表現;然而現在 AI 產業又要頭痛了,因為 NVIDIA 公布新一代產品 NVIDIA H100 與 NVIDIA L4 在 MLPerf 的表現,將推論性能提升至全新的水準,樹立全新的性能高牆,同時即便是結合最新生成式 AI 趨勢的 MLPerf 3.0 , NVIDIA AI 產品依舊具備壓倒性的領先。 ▲相較去年 9 月初次亮
2 年前
Ubitus宣布支援繁中大型語言模型Project TAME,同時在訓練過程貢獻算力與遊戲領域訓練資料
雲端串流服務公司日商Ubitus以遊戲串流技術發跡,近期也積極發展AI相關服務;隨著由台灣多家產、官、學共同發表針對台灣語系與支援專業知識的Project TAME繁中大型語言推出,Ubitus除了貢獻遊戲領域的訓練資料,並宣布提供基於Project TAME的推論服務,並透過繁中LLM Arena網站進行模型推論測試與演進。 繁中LLM Arena網站:LLM Arena ▲Project TAME是首個支援專業領域的開源大型語言模型計畫 Ubitus於2023年即攜手台大資工系合作開發台灣版大型語言模型,近日亦參與台灣首款達70B參數的繁中混合專家模型Project TAME計畫,不僅在訓
1 年前
NVIDIA H100 以較 NVIDIA A100 達 4.5 倍效能創下 MLPerf 世界紀錄, Jetson AGX Orin 仍為邊際運算之霸
於 2020 年問世的 NVIDIA A100 仍是包括 Intel 與 AMD 在內的加速運算最大假想敵,皆作為 Intel 與 AMD 公布新一代加速產品時的首要目標,然而 NVIDIA 在今年 GTC 公布新一代 Hopper 架構的 NVIDIA H100 Tensor Core GPU ,也令人好奇 NVIDIA H100 在實際情境是否如同 NVIDIA 所敘述般的出色; NVIDIA 今日首度公布 NVIDIA H100 在人工智慧測試基準 MLPefr 的成績,除了再度創下世界紀錄外,更較 NVIDIA A100 高出 4.5 倍性能。 NVIDIA H100 預計在 2022
2 年前
Dell 擴大導入 NVIDIA AI 技術,新一代 Power Edge 納入 GPU 、 DPU 與 NVIDIA AI Enterprise 軟硬體平台
Dell Technology 創辦人兼執行長 Michael Dell 於 PowerEdge.Next 活動與 NVIDIA 執行長黃仁勳共同宣布將擴大雙方合作,為高達 15 款全新 Dell PowerEdge 系統導入包括 GPU 、 DPU 與 NVIDIA AI Enterprise 企業軟體套件等軟硬體組合,能提供企業包括語音辨識、網路安全、推薦系統等廣泛 AI 應用所需的基礎。 ▲新一代 PowerEdge 導入 NVIDIA Bluefield-2 DPU 進行資料卸載與加速處理,進一步提升能源效率 新一代 Dell PowerEdge 除了具備 NVIDIA H100 GP
2 年前
華為AI晶片交不出貨,NVIDIA性能封印版NVIDIA H20 GPU再獲中國企業大量訂單
受到中美貿易戰的影響,一方面中國科技產業開始倡議國造晶片,另一方面美國限制美國企業不得輸出高性能AI與HPC晶片到中國,一夕間以中國為重要市場的AI與HPC晶片供應商頓失重要收入來源;在這樣的情況下,華為推出的AI加速晶片Ascend 910B瞬間成為中國企業的救星,不過好景不常,隨著華為AI晶片遭遇供貨不穩問題,許多中國企業包括百度、阿里巴巴、騰訊、字節跳動等又回到NVIDIA的懷抱,而且還是針對中國市場的效能封印特規版NVIDIA H20 GPU。 在華為宣布Ascend 910B後,許多產業分析指稱NVIDIA的營收將大受影響,畢竟受到美國法規影響不得不限制性能但價格卻沒變便宜的特規晶片
12 個月前
中國媒體實測 NVIDIA H100 GPU PCIe 版效能, AI 效能輾壓但遊戲缺驅動甚至輸內顯
NVIDIA H100 GPU 是目前市場上 AI 效能最高的 GPU 加速產品,不過撇除 AI 之外它的一般效能到底如何也令人相當好奇;中國媒體極客灣弄來 4 張 NVIDIA H100 PCIe 版本進行實測,從 AI 到娛樂與內容創作進行測試,從結果更令人感受到 NVIDIA H100 並非民生級產品的特性,因為在 AI 效能輾壓的另一面,由於缺乏對應的驅動, NVIDIA H100 遊戲性能甚至不及 AMD 新一代的內顯。 為資料中心設計的被動風冷結構 ▲ NVIDIA H100 PCIe 採用被動風冷,仰賴伺服器統一風道設計排熱 NVIDIA H100 PCIe 是針對 AI 工作站
2 年前
GTC 2024:Blackwell GPU家族成員除了GB200 Superchip、B200 GPU外,還有等同B200 GPU壓低能耗的B100 GPU
在早期的產品藍圖,當時NVIDIA指稱2024年將公布代號B100的Hopper後繼架構,不過在GTC 2024,NVIDIA則是聚焦在Blackwell架構的GB200 Superchip與B200 GPU,但在Blackwell產品線規劃,B100 GPU確實存在,而且與B200 GPU的關鍵差異僅在於能耗設定以及因為能耗影響的效能。 ▲B200晶片特寫,可看到上下的HBM3E記憶體以及兩個互連的Blackwell晶粒 根據NVIDIA提供的白皮書,Blackwell GPU是透過封裝技術將兩個晶片與8Gbps HBM3E記憶體透過高速通道連接構成一個晶片,總共有2,080億個電晶體,單一
1 年前
NVIDIA " Hopper " H100 GPU 加速器重點技術解密,結合高速傳輸技術、為新一代 AI 、HPC 運算所規劃的架構
NVIDIA 在台灣時間 22 日深夜發表新一代 AI 超算加速產品、代號 Hopper 的 NVIDIA H100 ,在產品特質上, NVIDIA H100 是 NVIDIA 自 P100 、 V100 到 A100 後的第四世代 AI 超算加速產品,也傳承自 P100 所建立的多項技術基礎,但同時為面對新一代 AI 技術與傳統運算需求, NVIDIA H100 不僅在架構設計持續精進,並借助合併 Mellanox 帶來的高速網路技術與第四代 NVLink ,使 NVIDIA H100 的性能有大幅度的提升。 稍早 NVIDIA 透過線上會議方式針對 NVIDIA H100 的幾項技術重點進
3 年前
Elon Musk宣布以10萬個液冷NVIDIA H100建構的超級叢集投入xAI的GROK 3模型訓練
Tesla創辦人、同時也是社群服務X董事長Elon Musk宣布xAI建構的超大型GPU叢集已投入GROK 3的模型訓練,xAI的超大型叢集由高達10萬個使用液冷的NVIDIA H100 GPU構成,是目前全球最大規模的RDMA單一GPU叢集。在xAI的叢集投入服務後,xAI預計於2024年12月推出以該套系統建構的GROK 3模型,Elon Musk指稱屆時將會是全球最先進的AI模型。 Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster trainin
11 個月前

相關文章