產業消息 NVIDIA GTC nvidia Google Cloud 推論加速器 大型語言模型 NVIDIA L4 LLM GTC 2023 ： NVIDIA 聯手 Google Cloud 開發大型語言模型與生成式 AI 推論平台， Google Cloud 將為首家 NVIDIA L4 GPU 執行個體供應商 NVIDIA 宣布攜手 Google Cloud 加速推動各行業的生成是人工智慧應用程式，旨在使開發者能取得最新技術，助其快速以符合成本效益的方式啟動與執行新應用程式，同時 Google Cloud 也將率先成為首家提供 NVIDIA L4 GPU 執行個體的雲服務供應商，使客戶能受益於全新架構設計應用於人工智慧影像技術，相較 CPU 具備 120 倍的人工智慧影像效能，同時提高 99% 能源效率。 Google Cloud 將透過新款 G2 虛擬機器自即日起開放非公開預覽，同時 Google 也預計將 L4 GPU 應用於其下 Vertex AI 機器學習平台。 NVIDIA 預計於 3 月 Chevelle.fu 2 個月前
產業消息 NVIDIA GTC nvlink 推論加速器 NVLink-C2C Grace Hopper SuperChip 語言模型 NVIDIA L40 ChatGPT NVIDIA L4 GTC 2023 ： NVIDIA 公布著重低能耗的 NVIDIA L4 Tensor Core GPU 以及針對大型語言模型佈署的 NVIDIA H100 NVL 加速模組，迎接 AI 的「 iPhone 時代」 NVIDIA 宣布擴大採用新世代架構的推論產品新陣容，在 GTC 2023 公布針對基礎設施與低功耗的 NVIDIA L4 GPU ，以及針對大型語言模型佈署、採用高相容性 PCIe 介面的 NVIDIA H100 NVL 模組。在這兩項推論新品加入陣容後，與先前已經公布的 NVIDIA L40 GPU 、 Grace Hopper Superchip 構成基於新世代架構的推論產品線。 NVIDIA 希冀藉由更廣泛且彈性的加速運算系統，迎接 AI 的「 iPhone 時代」(註：指 AI 將迎來如 iPhone 帶動智慧手機一樣的時期)。 NVIDIA Grace Hopper Superch Chevelle.fu 2 個月前
產業消息 CES消費性電子展 AI 基礎設施 邊際運算 推論加速器 AMD ALVEO V70 CES 2023 ： AMD 公布首款 AI 基礎設施加速器 ALVEO V70 ，僅 75W 可達 400 TOPS AI 算力 AMD 在 CES 宣布於 Ryzen 7040 APU 導入 Ryzen AI 加速架構的同時，也宣布針對首款 AI 基礎設施加速器產品 AMD ALVEO V70 ； AMD ALVEO V70 是一款鎖定自雲到端 AI 基礎設施的加速器產品，為高效率 AI 推論而生，將與 NVIDIA T4 進行競爭。 AMD ALVEO 預計將於 2023 年春季正式推出 ▲強調 ALVEO V70 比 NVIDIA T4 在各式應用高出 70% 效能 AMD ALVEO V70 採用稱為 XDNA 的 AI 引擎架構，可提供高達 400 TOPS 的 AI 算力，但僅 75W TDP ，並採用 PC Chevelle.fu 5 個月前
產業消息 ARM hpc amazon AI aws 推論加速器 Amazon EC2 亞馬遜 AWS 推出三款自研晶片的 Amazon EC2 執行個體，分別對應高效能運算、網路封包處理與深度學習需求 亞馬遜旗下 AWS 宣布推出由 AWS 自研三款晶片的三款全新 Amazon EC2 執行個體，包括採用針對高效能運算的 Amazon Graviton3E 的 Amazon EC2 Hpc7g ，著重增強網路頻寬與封包處理能力的 Amazon Nitro 的 Amazon EC2 C7gn ，以及專業機器學習加速推論的 Amazon Inferentia2 所驅動的 Amazon EC2 Inf2 ，以差異化的晶片設計滿足不同應用領域的運算需求。 其中 Hpc7g 執行個體所搭載的 Gravition3E 處理器，相較 C6gn 執行個體的處理器福點運算效能提高 2 倍，並帶來 20% 整體 Chevelle.fu 6 個月前
產業消息 intel AI 深度學習 機器視覺 推論加速器 Habana Gaudi2 自然語言 Intel Vision Intel Vision 2022 ： Intel 推出 Habana Gaudi2 與 Greco AI 處理器， Gaudi2 訓練性能高於 NVIDIA A100 兩倍 Intel 在 Intel Vision 大會宣布旗下 AI 深度學習處理器團隊 Habana Labs 推出第二代 AI 深度學習處理器 Habana Gaudi2 與 Habana Greco ，兩款產品皆基於 7nm 製程(聽起來像是委託台積電生產？)， Habana Gaudi2 是鎖定訓練應用，號稱在 ResNet-50 機器視覺模型和 BERT 自然語言處理模型的訓練吞吐量高於 NVIDIA A100 80GB 兩倍，而 Habana Greco 則是針對推論所規劃的架構。 Intel 開放提供既有 Habana 客戶使用 Gaudi2 處理器，同時與 Supermicro 合作， Chevelle.fu 1 年前
產業消息 AI 富士康 5G snapdragon 865 Qualcomm Cloud AI 100 推論加速器 高通攜手富士康推出基於 Qualcomm Cloud AI 100 的 Gloria AI Edge Box 邊際 AI 設備，獲越南 BKAV 採納並用於智慧邊際 高通宣布與富士康旗下子公司富士康工業互聯網攜手，雙方自設計、製造進行合作，推出基於 Qualcomm Cloud AI 100 推論加速器的 Gloria AI Edge Box 邊際 AI 裝置，而這項邊際 AI 解決方案亦獲得越南科技公司 BKAV 採用並應在在智慧邊際領域。高通預估 Gloria AI Edge Box 能廣泛應用在如智慧城市、智慧零售、智慧倉儲、資料中心與智慧工廠等領域，預計在 2022 年第二季正式上市，今年底率先提供工程樣品。 ▲Gloria AI Edge Box 採用高通 Qualcomm Cloud AI 100 搭配 Snapdragon 865 ，具備 7 Chevelle.fu 1 年前
