產業消息 nvidia Hopper NVIDIA H100 大型語言模型 LLM Blackwell NVIDIA H200 NVIDIA Jetson Orin NVIDIA Blackwell正式於MLPerf Inference基準測試活動亮相，於Llama 2 70B推論性能提升4倍 NVIDIA在2024年3月的GTC大會公布全新架構的Blackwell加速器，隨著Blackwell步入量產急將出貨，Blackwell首次於MLPerf Inference v4.1基準測試活動亮相，並在所有資料中心測試項目刷新紀錄，其中於處理MLPerf最大LLM工作量的Llama 2 70B，相較NVDIA H100 Tensor Core GPU高出4倍。 ▲Blackwell首次測試的成績相當亮眼 雖然Blackwell仗著新架構刷新各項紀錄，然而基於Hopper架構的NVIDIA H200 Tensor Core GPU也在此輪的於MLPerf Inference基準測試有亮眼的 Chevelle.fu 8 個月前
產業消息 hpc AI 水冷 Top500 環境永續 生成式AI NVIDIA H200 翔耀實業將在台灣建立亞洲首座溫水冷卻NVIDIA H200系統，完工後預計進入TOP500第15位算力 翔耀實業宣布與包括美超微、是方電訊、數位無限、無敵科技等策略夥伴在台灣興建翔耀AICC(AI Compute Center)，耀翔AICC將為採用以NVIDIA H200作為運算主體的設計，並是亞洲首座採用溫水冷卻的H200運算中心，能有效降低營運成本並減少碳足跡；翔耀AICC將部署在內湖舊宗路的是方LY2 AI智慧資料中心，採兩階段上線，預計在2024年第四季的第一期將導入128部伺服器、第二期再導入128部伺服器，預期可進入TOP500的第15名，並為亞洲最高性能的算力中心之一。 ▲翔耀AICC預計導入256台搭載H200的伺服器，預估算力達TOP500的15名 翔耀AICC採用NVIDI Chevelle.fu 9 個月前
產業消息 nvidia gpu NVIDIA Hopper GPT-3 NVIDIA H100 大型語言模型 LLM LLaMA NVIDIA H200 NVIDIA H100最新MLPerf訓練測試基準較2023年以3.2倍GPU規模實現3倍以上的性能 NVIDIA持續引領AI產業硬體的關鍵在於不僅止於GPU硬體技術、還有與持續不斷精進的軟體與網路技術結合；NVIDIA公布最新MLPerf Training v4.0基準測試表現，在GPT-3 175B大型語言模型訓練的表現，以較2023年多出3.2倍的GPU數量實現3倍以上的性能增長，展現強大的軟體調校能使GPU數量與性能呈現幾乎1:1的擴充效率，也顯示在相同的硬體架構之下持續擴充規模仍可在軟體不斷增強獲得出色的成效。NVIDIA預期在NVIDIA Blackwell推出後，MLPerf測試基準成績將有更驚人的成果，並邁向訓練與推論的兆參數生成式AI模型世代。 NVIDIA在2023年使用3 Chevelle.fu 10 個月前
產業消息 nvidia OpenAI 黃仁勳 NVIDIA Hopper 生成式AI NVIDIA H200 NVIDIA執行長黃仁勳親手將第一台NVIDIA DGX H200伺服器交給OpenAI OpenAI在還未一戰成名前，NVIDIA執行長黃仁勳就親自將當時最新的伺服器交給當時仍處在新創階段的OpenAI；OpenAI總裁Greg Brockman在個人X公布一張照片，NVIDIA執行長再次親手將第一台NVIDIA DGX H200伺服器交付給Open AI。 First @NVIDIA DGX H200 in the world, hand-delivered to OpenAI and dedicated by Jensen "to advance AI, computing, and humanity": pic.twitter.com/rEJu7OTNG Chevelle.fu 1 年前
產業消息 nvidia meta Jetson AGX Orin NVIDIA H100 Jetson Orin Nano 大型語言模型 LLM Llama 3 NVIDIA H200 NVIDIA宣布全面針對Meta Llama 3推論提供最佳化，透過雲端、邊際與個人電腦的NVIDIA GPU皆可執行 在Meta宣布釋出全新大型語言模型Llama 3的同時，相關產業領域的合作夥伴也紛紛宣布支援Llama 3，其中作為Meta自行持有的超級電腦的技術供應商的NVIDIA當然也在第一時間宣布消息；NVIDIA強調採用NVIDIA技術所建構的Meta Llama 3獲得NVIDIA GPU加速挹注，能夠自雲端與資料中心至邊際與個人電腦的NVIDIA GPU以最佳化的方式進行推論，且自即日起即可使用。 NVIDIA同步於ai.nvidia.com提供開發者以NVIDIA NIM微服務嘗試Llama 3：ai.nvidia.com ▲Meta工程師在24,576個NVIDIA H100 GPU叢集完成 Chevelle.fu 1 年前
產業消息 intel cuda AI 加速器 OpenVINO NVIDIA Hopper NVIDIA H100 生成式AI Gaudi 3 NVIDIA H200 Intel公布主打性能與性價比皆優於NVIDIA H100的Gaudi AI加速器，主打提供業界多元且開放的選擇 NVIDIA以長期投入的獨占Cuda加速技術搭配開源軟體環境最終在對的時間開花結果，成為當前引領AI產業的龍頭，不過包括AMD、Intel與諸多新創競爭對手勢必會希望打破僵局，尤其對過往長期獨霸運算產業的Intel而言，勢必希望能夠重振雄風奪回產業領導地位；Intel在Vision 2024大會公布第三世代的Intel Gaudi AI加速器，劍指NVIDIA Hopper架構(對，比較對象不是下一代的Blackwell)，強調在性能全面領先NVIDIA H100以外，更提供產業多元且開放的選擇。 Gaudi 3預計在2024年第二季向OEM交付通用基板與開放加速器模型(OAM)的業界標準配置 Chevelle.fu 1 年前
產業消息 nvidia gpu NVIDIA Hopper MLPerf 推論加速器 NVIDIA H100 大型語言模型 生成式AI Blackwell NVIDIA GB200 NVIDIA B200 NVIDIA H200 NVIDIA Hopper架構TensorRT-LLM使生成式AI推論提升近3倍，H200藉HBM3e記憶體散熱打破MLPerf推論紀錄 雖然NVIDIA甫在GTC 2024公布眾所矚目的全新Blackwell架構，但畢竟Blackwell仍要待到2024年下半年才會開始出貨，故目前最新的NVIDIA AI GPU加速產品為採用美光HBM3e記憶體的NVIDIA H200 Tensor Core GPU；NVIDIA公布全新的MLPerf測試成績，基於Hopper架構的H100借助TensorRT-LLM軟體突破MLPerf的生成式AI測試項突破原本的性能上限，於GPT-J LLM推論性能較6個月前提升近3倍，而陸續出貨的H200 GPU則透過容量、頻寬提升的HBM3e記憶體與更彈性的散熱，一舉刷新多項MLPerf的紀錄。 ▲包 Chevelle.fu 1 年前
產業消息 NVIDIA GTC micron 美光 HBM3e NVIDIA H200 GTC 2024：美光於GTC大會展示已量產的8層堆疊24GB HBM3E解決方案在內的多項記憶體與儲存解決方案 美光日前宣布其8層堆疊HBM3E記憶體已量產，並將在2024年第二季搭配NVIDIA H200 GPU出貨；在GTC 2024活動，美光展示一系列記憶體與儲存解決方案，挹注自雲端至邊際的AI應用。同時競爭對手三星、Hynix也同樣在會場展示HBM3E記憶體。 ▲美光預計在2024年再推出12層36GB HMB3E記憶體 美光展示的解決方案包括：1、8層堆疊24GB HBM3E解決方案與後續12層36GB HBM3E解決方案。2、使用單片晶粒具低延遲與低功耗優勢的DDR5 RDIMM記憶體。3、支援NVIDIA Grace CPU的LPDDR5X記憶體解決方案與LPCAMM2模組。4、可在3D Chevelle.fu 1 年前
