Google Cloud 推出 Cloud Run GPU 服務 可彈性配置 NVIDIA L4 GPU

2025.06.09 01:59PM

Google Cloud 推出 Cloud Run GPU,可靈活配置 NVIDIA L4 GPU,強化 AI 應用與雲端運算效率。

Google Cloud稍早宣布推出Cloud Run GPU服務,讓使用者能透過此服務以於雲端形式使用NVIDIA L4 GPU,藉由自動擴展、彈性佈署形式使用,主要針對人工智慧運算、推論訓練等工作負載使用。

同時,由於無須事先申請設定GPU配置規模,可自動依照運算需求彈性配置GPU數量,因此不會造成GPU在未使用時造成資源閒置,進而產生額外成本,藉此增加佈署彈性,更可藉由自動化佈署簡化管理難度。

此服務採以秒計費形式使用,同時在不使用時即可自動歸零,同時在冷啟動狀態下能於5秒左右時間完成GPU與驅動程式啟動,若以Gemma 3 40億組參數規模推論運作為例,自冷啟動狀態到產生第一個詞元 (token)僅需約19秒時間,意味能在短時間內快速啟動。

2 SrvmWli.max 1600x1600 1
而Cloud Run GPU服務本身可直接在應用程式加入相關指令,或是在應用服務控制台背後選擇是否開啟GPU加速運算。

既然採彈性配置形式提供使用,Google Cloud也標榜此服務運作可靠性,並且說明使用者或企業能依照營運需求在多個區域佈署使用,另外也能關閉分區備援調整整體可用運算資源配置。

目前Cloud Run GPU服務已經在美國、歐洲及亞洲多個Google Cloud區域服務上線。