蘋果開源 DCLM 模型 抗衡 Mistral、Llama 3 等競爭對手

2024.07.22 10:50PM

蘋果釋出兩組小規模開源人工智慧模型,分別對應 69 億組及 14 億組參數,強調能與 Mistral、Llama 3、Gemma 等競爭對手抗衡。

蘋果機器學習研究團隊科學家Vaishaal Shankar稍早於「X」表示,分別釋出兩組小規模的開源人工智慧模型,均隸屬於「DCLM」 (DataComp for Language Models)發展項目,分別對應69億組參數及14億組參數,強調能與Mistral AI的70億組參數規模人工智慧模型,以及Meta提出的Llama 3、Google的Gemma、阿里雲的開源模型Qwen2直接抗衡。

同時,Vaishaal Shankar更標榜「DCLM」為真正形式上的開源模型,其中69億組參數版本是基於OpenLM框架,以2.5兆個詞元 (token)進行訓練,前後文長度各可對應2K組詞元,在大規模、多任務的語言理解 (MMLU,Massive Multitask Language Understanding)測試達63.7%,超過Mistral-7B-v0.3的62.7%表現,並且貼近Meta Llama3 8B的66.2%、Google Gemma的64.3%),以及微軟Phi-3的69.9%,另外也以更少算力完成相關測試。

而在14億組版本,蘋果則是與Toyota研究團隊共同訓練,並且以2.6兆組詞元數量進行訓練,在大規模、多任務的語言理解測試達41.9%,超過微軟Phi-1.5B的35.90%。

We have released our DCLM models on huggingface! To our knowledge these are by far the best performing truly open-source models (open data, open weight models, open training code) 1/5

— Vaishaal Shankar (@Vaishaal) July 18, 2024

另外,蘋果方面也在69億組參數規模的人工智慧模型基礎下,將前後文長度支援至8K組詞元,在在大規模、多任務的語言理解的表現基本維持不變,意味相比語言模型框架設計,用於訓練的資料集設計將變得更加重要。

目前「DCLM」計畫以開源形式與業界研究人員合作,目前合作對象包含華盛頓大學、特拉維夫大學與Toyota研究中心,但目前在「DCLM」計畫研究項目並不會用於蘋果市售產品,避免引發不必要的爭議,目前作為研究為主。

相關消息

科技應用
EVOX《對話式 AI 白皮書》:掌握 AI 商務溝通新趨勢
癮特務
3 天前
即拍即印普普風概念印章,製造屬於自己的圖像
annti wang
15 年前
應用教學
國家鐵道博物館開館 6處古蹟、8大展覽必參觀 藍皮火車預約搭乘方法看這裡
Zero圈圈
1 天前
開箱評測
2吋大螢幕、7.9mm羽量級厚度 Garmin Venu X1智慧手錶評測心得
Tandee
1 天前
汽車未來
全新改款 BMW iX 豪華純電旗艦休旅強勢上市!「THE NEW BMW iX」現場直擊,亮點分享一次了解!
癮特務
9 天前
App
三星One UI 8以Android桌面模式取代DeX
Chevelle.fu
3 天前
《奇妙之旅》家族競技展開 熱鬪場內容介紹
皮耶哈
15 年前
快訊
伊良可樂台灣首店即將開幕!排不到可以試試這款糖漿,肥仔快樂水自己做。
Shopping guide
1 天前
文化創意
日本Sony宣布LinkBuds Fit與初音未來合作 限量500套加贈壓克力架與AR模型
Chevelle.fu
1 天前