NVIDIA L4 全攻略 (150763)

Google Cloud 推出 Cloud Run GPU 服務可彈性配置 NVIDIA L4 GPU

Google Cloud 推出 Cloud Run GPU，可靈活配置 NVIDIA L4 GPU，強化 AI 應用與雲端運算效率。 Google Cloud稍早宣布推出Cloud Run GPU服務，讓使用者能透過此服務以於雲端形式使用NVIDIA L4 GPU，藉由自動擴展、彈性佈署形式使用，主要針對人工智慧運算、推論訓練等工作負載使用。同時，由於無須事先申請設定GPU配置規模，可自動依照運算需求彈性配置GPU數量，因此不會造成GPU在未使用時造成資源閒置，進而產生額外成本，藉此增加佈署彈性，更可藉由自動化佈署簡化管理難度。此服務採以秒計費形式使用，同時在不使用時即可自動歸零，同時在冷

Mash Yang

1 個月前

產業消息 nvidia gpu MLPerf Grace Hopper SuperChip Jetson Orin NVIDIA L4 GH200 NVIDIA H100 GPU

NVIDIA GH200 Grace Hopper 超級晶片首度於 MLPerf 推論基準測試亮相且表現出色，

NVIDIA 宣布包括 NVIDIA GH200 、 NVIDIA H100 、 NVIDIA L4 GPU 與 Jetson Orin 等在 2023 年 9 月公布的 MLPerf 推論測試基準獲得出色且領先的表現，其中 NVIDIA GH200 Grace Hopper Superchip 更是首度提交 MLPerf 測試結果，展現透過整合 CPU 與 GPU 在單一超級晶片提供更多記憶體、頻寬以及主動平衡 CPU 與 GPU 電力帶來的效益；此外 NVIDIA 也公布針對大型語言模型的 TensorRT-LLM 軟體，進一步針對 NVIDIA 硬體特性、跨 GPU 與節點運算最佳化，使

Chevelle.fu

1 年前

產業消息 nvidia gpu AI MLPerf Jetson AGX Orin NVIDIA H100 NVIDIA L4

採用 Hopper 架構的 NVIDIA H100 與 NVIDIA L4 GPU 再度樹立 MLPerf 基準新高度， NVIDIA H100 藉軟體更新較初登場推論效能提高 54%

於 3 年前推出的 NVIDIA A100 是當前 AI 產業的性能基準指標，其它品牌的 AI 加速產品皆將 NVIDIA A100 視為比較目標，然而至今為止， NVIDIA A100 仍在作為 AI 業界公認標準的 MLPerf 測試項的訓練與推論有著不可動搖的表現；然而現在 AI 產業又要頭痛了，因為 NVIDIA 公布新一代產品 NVIDIA H100 與 NVIDIA L4 在 MLPerf 的表現，將推論性能提升至全新的水準，樹立全新的性能高牆，同時即便是結合最新生成式 AI 趨勢的 MLPerf 3.0 ， NVIDIA AI 產品依舊具備壓倒性的領先。 ▲相較去年 9 月初次亮

Chevelle.fu

2 年前

產業消息 NVIDIA GTC nvidia Google Cloud 推論加速器大型語言模型 NVIDIA L4 LLM

GTC 2023 ： NVIDIA 聯手 Google Cloud 開發大型語言模型與生成式 AI 推論平台， Google Cloud 將為首家 NVIDIA L4 GPU 執行個體供應商

NVIDIA 宣布攜手 Google Cloud 加速推動各行業的生成是人工智慧應用程式，旨在使開發者能取得最新技術，助其快速以符合成本效益的方式啟動與執行新應用程式，同時 Google Cloud 也將率先成為首家提供 NVIDIA L4 GPU 執行個體的雲服務供應商，使客戶能受益於全新架構設計應用於人工智慧影像技術，相較 CPU 具備 120 倍的人工智慧影像效能，同時提高 99% 能源效率。 Google Cloud 將透過新款 G2 虛擬機器自即日起開放非公開預覽，同時 Google 也預計將 L4 GPU 應用於其下 Vertex AI 機器學習平台。 NVIDIA 預計於 3 月

Chevelle.fu

2 年前

產業消息 NVIDIA GTC nvlink 推論加速器 NVLink-C2C Grace Hopper SuperChip 語言模型 NVIDIA L40 ChatGPT NVIDIA L4

GTC 2023 ： NVIDIA 公布著重低能耗的 NVIDIA L4 Tensor Core GPU 以及針對大型語言模型佈署的 NVIDIA H100 NVL 加速模組，迎接 AI 的「 iPhone 時代」

NVIDIA 宣布擴大採用新世代架構的推論產品新陣容，在 GTC 2023 公布針對基礎設施與低功耗的 NVIDIA L4 GPU ，以及針對大型語言模型佈署、採用高相容性 PCIe 介面的 NVIDIA H100 NVL 模組。在這兩項推論新品加入陣容後，與先前已經公布的 NVIDIA L40 GPU 、 Grace Hopper Superchip 構成基於新世代架構的推論產品線。 NVIDIA 希冀藉由更廣泛且彈性的加速運算系統，迎接 AI 的「 iPhone 時代」(註：指 AI 將迎來如 iPhone 帶動智慧手機一樣的時期)。 NVIDIA Grace Hopper Superch

Chevelle.fu

2 年前

相關文章