亞馬遜AWS宣布於Amazon SageMaker JumpStart提供Meta Llama 3基礎模型,能進行部署與推論

2024.04.19 01:52PM

亞馬遜AWS宣布於Amazon SageMaker JumpStart平台提供Meta Llama 3大型語言模型(LLM),客戶能夠透過Amazon SageMaker JumpStart進行Llama 3的部署與推論。Amazon SageMaker JumpStart將與Meta同步提供8B與70B參數模型,兩款模型的上下文長度皆為8k,能廣泛支援推論、程式碼生成與指令跟隨,後續將隨Meta釋出的時程提供更多參數的版本。

包括美東(北維吉尼亞州)、美東(俄亥俄州)、美西(奧勒岡州)、歐洲(愛爾蘭)和亞太(東京)等區域的客戶現在可以在Amazon SageMaker Studio中透過點擊或透過SageMaker Python SDK程式設計方式部署Llama 3模型,還可以利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能,提升模型效能並實施MLOps控制。此外,該方式部署的模型始終處在AWS的安全環境下,由客戶的VPC(Virtual Private Cloud)控制,以確保資料安全。

▲亞馬遜指稱在特定測試集Llama 3 8B的表現優於Llama 2 70B

亞馬遜AWS表示Llama 3使用了僅含解碼器的Transformer架構,以及高達128k規模的新型分詞器,極大提升了模型的效能。此外,Meta改進的訓練後處理常式大幅降低了誤拒率,提高了模型回應的一致性和多樣性;Llama 3具備較Llama 2更強大的性能,甚至在特定測試集項目,Llama 3 8B參數的性能就超越Llama 2 70B參數的表現。

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
3 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
應用教學
國家鐵道博物館開館 6處古蹟、8大展覽必參觀 藍皮火車預約搭乘方法看這裡
Zero圈圈
1 天前
開箱評測
2吋大螢幕、7.9mm羽量級厚度 Garmin Venu X1智慧手錶評測心得
Tandee
1 天前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
9 天前
App
三星One UI 8以Android桌面模式取代DeX
Chevelle.fu
3 天前
《奇妙之旅》家族競技展開 熱鬪場內容介紹
皮耶哈
15 年前
快訊
伊良可樂台灣首店即將開幕!排不到可以試試這款糖漿,肥仔快樂水自己做。
Shopping guide
1 天前
文化創意
日本Sony宣布LinkBuds Fit與初音未來合作 限量500套加贈壓克力架與AR模型
Chevelle.fu
1 天前