Google 開放開源模型 Gemma 2 效能超越 Llama 3

2024.06.28 06:45PM

Google Gemma 2開源模型優化 TPU、GPU 加速,提供 270 億參數高效能版本及 90 億參數小規模版本,學術研究者可透過 Colab、Kaggle 免費取用。

Google在今年Google I/O 2024期間宣布推出全新開源模型Gemma 2,本身針對TPU、GPU加速最佳化,並且能輸出2倍高的模型運行效能,最多更可對應270億組參數,但同時也提供可對應90億組參數的小規模版本,接下來也會提供更小規模設計的26億組參數版本,將可在手機端執行。

在稍早說明中,Gemma 2可透過數據建模與數據分析競賽平台Kaggle取得,或是透過全名為Colaboratory的網頁編寫程式平台Colab免費服務取用,而學術研究人員也能透過研究計畫申請使用。

從相關模測流程中,Gemma 2 270億組參數版本在微調模式中的執行效能,可超越700億參數規模的Llama 3,同時也超越3400億組參數的Nemotron 4,以及Claude 3 Sonnet、Command R+、Qwen 72B等模型,至於90億組參數版本更成為當前150億組參數以下規模最佳效能模型。

▲Gemma 2對比其他模型效能

依照說明,90億組參數版本的Gemma 2在4096組TPU v4構成運算叢集訓練,270億組參數規模版本則是在TPU v5p運算叢集上訓練,總計使用6144組晶片。而整體架構上,Gemma 2採重新設計形式打造,導入類似Gemma 1.1的運算模式,但是加上更多學習監督與模型合併,使Gemma 2在編成、數學、推理及安全等項目對比Gemma 1.1均有明顯提升。

此外,Gemma 2 270億組參數規模版本可在Google Cloud TPU伺服器、NVIDIA A100 80GB Tensor Core GPU或H100 Tensor Core GPU上,以高效能執行全精度推理,可在維持高效能運算的同時降低運作成本,藉此讓企業、開發者能以更經濟實惠方式執行、佈署人工智慧服務。

而Google也強調以負責任形式打造Gemma 2,同時也說明應用Gemma 2的安全特性,並且遵循內部安全流程,將訓練前的數據進行過濾,避免出現潛在偏見等風險。

Gemma 2, Google正式向開發者、研究人員開放使用可對應270億組參數的開源模型Gemma 2<br><span style='color:#848482;font-size:16px;'>接下來也會提供更小規模設計的26億組參數版本,將可在手機端執行</span>, mashdigi-科技、新品、趣聞、趨勢▲Gemma 2的安全性表現

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
3 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
應用教學
國家鐵道博物館開館 6處古蹟、8大展覽必參觀 藍皮火車預約搭乘方法看這裡
Zero圈圈
22 個小時前
App
三星One UI 8以Android桌面模式取代DeX
Chevelle.fu
3 天前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
9 天前
開箱評測
2吋大螢幕、7.9mm羽量級厚度 Garmin Venu X1智慧手錶評測心得
Tandee
21 個小時前
《奇妙之旅》家族競技展開 熱鬪場內容介紹
皮耶哈
15 年前
快訊
伊良可樂台灣首店即將開幕!排不到可以試試這款糖漿,肥仔快樂水自己做。
Shopping guide
1 天前
文化創意
日本Sony宣布LinkBuds Fit與初音未來合作 限量500套加贈壓克力架與AR模型
Chevelle.fu
1 天前