Meta 推出 Llama 2 Long 大型自然語言模型 可處理長文內容、對應前後文關聯

2023.10.03 02:34PM

Llama 2 Long也以開源形式提供,讓更多研究人員、開發者能使用,並且進一步開發出更先進的應用。

首圖

Meta稍早公布可處理長文內容的Llama 2 Long大型自然語言模型,建立在可對應32768組標記 (token)、700億個參數情況下,並且在整體表現優於同樣可處理長文內容的GPT-3.5-Turbo-16K版本。

-
Llama 2 Long強項在於處理長文內容,並且對應前後文關聯,藉此對應更複雜、多樣性的人工智慧互動處理需求,其中包含聊天機器人自然互動,或是對於內容繁多的文件分析等。

而先前可對應長文內容的大型自然語言模型,幾乎都是以商業應用為主,因此Meta此次提出Llama 2 Long,將建立在Llama 2本身為開源模型的基礎上,同樣以開源形式提供更多研究人員、開發者使用。

而訓練方式,則是以Llama 2為基礎,額外透過4000億個標記進行預先訓練,同時再將這些標記分成更多規模較小序列,例如進行70億組標記與130億組參數模型訓練時,便以32768組標記序列進行訓練,或是在300億、700億組參數模型訓練時,透過16384組標記訓練。

如此一來,則可讓Llama 2 Long在長文內容中的前後文對應有更好表現,甚至在內容長度增加時,可對應前後文的幅度也會跟著增加,如此一來即可對應複雜程式開發、內容分析描述,或是對應更複雜的對話互動,同時也能以相對更低成本訓練大型自然語言模型。

Tagged AI, generative AI, Llama 2, Llama 2 Long, Meta, 人工智慧, 大型自然語言模型

相關消息

新品資訊
全新高效能筆電與掌機亮相!MSI 打造《龍魂城解鎖行動》實境互動體驗、週末限時登場等你來挑戰!
癮特務
2 天前
應用教學
2025瓊斯盃國際籃球邀請賽:比賽日期時間、賽程表、免費直播線上看
Zero圈圈
3 天前
產業消息
英國Sony支援網站聲稱Xperia 1 VII斷電問題可能僅出現在特定批次,但成因依舊還在調查
Chevelle.fu
3 天前
新奇搞笑
美國研發將核廢料轉化成再生能源的新技術
Twelve
1 天前
科技應用
Google 地圖登上 Garmin 智慧手錶 提供完整導航體驗
Mash Yang
3 天前
Xbox Game「Lips」Model
stoneip
16 年前
新奇搞笑
德國以人類尿液研發「生物混凝土」 強度堪比水泥
Twelve
1 天前
開箱評測
防止背部悶熱 我試著把「3D透氣背墊」裝在背包上看看
Gizmodo Japan
3 天前
快訊
樂維 RK 藍牙無線機械鍵盤只要 2290,CP 未免也太高
Shopping guide
1 個月前