OpenAI GPT-3 自然語言處理模式可用人工智慧分析 快速用 200 字準確描述 12 萬字的《傲慢與偏見》

2021.09.27 07:23PM

就技術原理來看,此款微調後的GPT-3語言模型,將會依照文章長度進行判斷,其中包含文章長度較短內容直接擷取結論,長篇文章則會在各個片段擷取重點,並且持續縮減文章字數,進而將這些內容以相同撰寫口吻串接成通順可讀內容。

但可惜現在並未計畫對外開放此項技術

藉由微調後的GPT-3語言模型,OpenAI實現以不到200個字詞精簡描述原本長達12萬個字詞撰寫的《傲慢與偏見》小說情節。

依照OpenAI研究人員說明,此項技術先將《傲慢與偏見》小說情節精簡為24796個字詞數的276段摘要,進而縮減為3272個字詞的25段摘要,以及更進一步縮減為475個字詞的4段摘要,最後再精簡為175個字詞數組成摘要,不僅讓文章長度縮減為原文的千分之一,更保留完整劇情走向。

其他透過此語言模型精簡摘要的小說,還包含將全文濃縮為136個字詞的《愛麗絲夢遊仙境》、縮減為119個字詞的《羅密歐與茱麗葉》,以及減少為192個字詞的《自由之心》。

就技術原理來看,此款微調後的GPT-3語言模型,將會依照文章長度進行判斷,其中包含文章長度較短內容直接擷取結論,長篇文章則會在各個片段擷取重點,並且持續縮減文章字數,進而將這些內容以相同撰寫口吻串接成通順可讀內容。

而此項語言模型則是透過平均字詞數在10萬以上的小說內容進行訓練,而這樣的訓練模式更可更換為不同語言模型、不同採樣方式,以及不同訓練數據類型持續升級,並且藉由強化學習以對抗生成方式,產生可讓人類輕易閱讀結果。

同時,在強化學習部分也採用三種變體抽樣訓練方式,藉此讓語言模型確實能理解小說內容表達主軸。

在訓練過程中,研究人員透過Goodreads 2020榜單上最受歡迎的40本書籍,分別涵蓋幻想、恐怖、愛行、推理等20種內容類別,並且透過兩名研究人員與語言模型個別針對此類書籍進行總結,讓研究人員與語言模型總結結果能有80%比例相近,藉此讓分析結果更接近人類預期內容。

另外,研究人員也會透過語言模型擷取摘要內容,能否用於回答與原始內容相關問題作為評估,藉此判斷摘要內容是否正確。即使未能完整回答問題,但內容方向至少不會有明顯偏離。

但依照OpenAI方面表示,現階段並未有計畫開源此項微調後的GPT-3語言模型,因此主要還是聚焦在研究階段。

相關消息

開箱評測
全能AI筆電GIGABYTE AERO X16開箱實測:外型質感設計,搭配強勁性能,成為電競玩家、創作者與專業工作者的全能夥伴!
癮特務
2 天前
遊戲天堂
FCC電檢照片顯示華碩將推出一黑一白兩款ROG Ally 2電競掌機,增強握柄人體工學、黑色機型可能為Xbox認證機型
Chevelle.fu
1 個月前
在地生活
吉伊卡哇廠商限定圖片外流 日方決定取消台灣訂單
討喜小姐
1 個月前
開箱評測
Cooler Master NCORE 100 Air直立式ITX風冷機殼評測,超小占地面積能容高規格系統的精緻機殼
Chevelle.fu
1 個月前
產業消息
Sony WH-1000XM6、WF-1000XM5兩款旗艦無線耳機更新韌體,藍芽連接模式新增基於LE Audio的低延遲選項
Chevelle.fu
1 天前
產業消息
Sony將在5月13日公布Xperia 1 VII,首支預告聚焦Alpha相機技術
Chevelle.fu
1 個月前
開箱評測
不想要耳塞 Sony無線降噪耳機折590元 平價降噪耳罩式耳機可選它
Tandee
1 個月前
產業消息
三星旗下HARMAN收購持有B&W、天龍馬蘭士的Sound United
Chevelle.fu
1 個月前
關於android播放3gp內含AAC無法撥放問題
hanawa
15 年前