聯發科與中研院、國教院合力開發以千億參數的繁體中文 AI 語言生成模型開放開源下載

2023.02.23 04:38PM

對於台灣或是香港的搜尋與 AI 翻譯使用者,應該都會對於多數語言模型別說是分辨香港繁體或是台灣繁體,甚至簡繁用語也完全不分的情況感到頭痛,不過未來繁體中文使用者有望獲得更好的 AI 繁體語言使用環境;聯發科集團旗下所屬的前瞻技術研究單位聯發創新基地、中央研究院詞庫小組與國家教育研究院三方組成的研究團隊宣布,將開放全球首款繁體中文語言大型模型到開源網站進行測試,此次釋出的繁體中文大型模型以開源 BLOOM 模型為基礎,相較當前可用的最大繁體中文模型大 1,000 倍,所使用的訓練資料也高出 1,000 倍,當前開放外界下載,可用於包括問答系統、文字編修、廣告文案生成、華語教學與客服系統。

目前開源的大型語言模型多以英文為優先最佳化對象,透過遷移學習的繁體中文模型在字詞方面的效果與語意理解能力較為不足;中央研究院詞庫小組在 2019 年開發並公開 BERT 與 GPT-2 的繁體中文優化版本,但由於訓練的資料量不足,相較主流大型語言模型的差距持續擴大。

▲聯發科在此次合作當中負責訓練硬體的建設

有鑑於開放原始碼繁體中文大型語言模型的重要性與迫切性,聯發創新基地、中央研究院詞庫小組與國家教育研究院三方在 2022 年 5 月展開合作計畫,透過大型語言模型 BLOOM 的繁體中文模型進行再訓練與優化,是當前首款具大型規模的繁體中文語言模型;連發科創新基地當前暫備一個手機網頁介面公語言研究者試用;此模型系列的評量指標與參數達 176B 的模型預計在後續開放下載。

為實現具可用性的繁體中文大型語言模型,國家教育研究院提供大量高品質的繁體中文語料作為訓練材料,連發科創新基地建構用於訓練的硬體環境,並制定各種符合國際標準的繁體中文評量指標與蒐集更近期的語料,同時針對模型進行更有效讀懂使用者的指示( prompt )的特別訓練。而中央研究院詞庫小組則針對生成的文字是否帶有偏見與敵意等不合適內容進行自動偵測與改正的研究與評估。最中三方結果皆達到當前開源繁體中文語言模型未有的成果,並相對避免具有偏見與敵意的內容。

相關消息

開箱評測
全能AI筆電GIGABYTE AERO X16開箱實測:外型質感設計,搭配強勁性能,成為電競玩家、創作者與專業工作者的全能夥伴!
癮特務
3 天前
遊戲天堂
FCC電檢照片顯示華碩將推出一黑一白兩款ROG Ally 2電競掌機,增強握柄人體工學、黑色機型可能為Xbox認證機型
Chevelle.fu
1 個月前
在地生活
吉伊卡哇廠商限定圖片外流 日方決定取消台灣訂單
討喜小姐
1 個月前
產業消息
Sony WH-1000XM6、WF-1000XM5兩款旗艦無線耳機更新韌體,藍芽連接模式新增基於LE Audio的低延遲選項
Chevelle.fu
2 天前
開箱評測
Cooler Master NCORE 100 Air直立式ITX風冷機殼評測,超小占地面積能容高規格系統的精緻機殼
Chevelle.fu
1 個月前
產業消息
Sony將在5月13日公布Xperia 1 VII,首支預告聚焦Alpha相機技術
Chevelle.fu
1 個月前
開箱評測
不想要耳塞 Sony無線降噪耳機折590元 平價降噪耳罩式耳機可選它
Tandee
1 個月前
產業消息
三星旗下HARMAN收購持有B&W、天龍馬蘭士的Sound United
Chevelle.fu
1 個月前
關於android播放3gp內含AAC無法撥放問題
hanawa
15 年前