OpenAI GPT-3 自然語言處理模式可用人工智慧分析 快速用 200 字準確描述 12 萬字的《傲慢與偏見》

2021.09.27 07:23PM

就技術原理來看,此款微調後的GPT-3語言模型,將會依照文章長度進行判斷,其中包含文章長度較短內容直接擷取結論,長篇文章則會在各個片段擷取重點,並且持續縮減文章字數,進而將這些內容以相同撰寫口吻串接成通順可讀內容。

但可惜現在並未計畫對外開放此項技術

藉由微調後的GPT-3語言模型,OpenAI實現以不到200個字詞精簡描述原本長達12萬個字詞撰寫的《傲慢與偏見》小說情節。

依照OpenAI研究人員說明,此項技術先將《傲慢與偏見》小說情節精簡為24796個字詞數的276段摘要,進而縮減為3272個字詞的25段摘要,以及更進一步縮減為475個字詞的4段摘要,最後再精簡為175個字詞數組成摘要,不僅讓文章長度縮減為原文的千分之一,更保留完整劇情走向。

其他透過此語言模型精簡摘要的小說,還包含將全文濃縮為136個字詞的《愛麗絲夢遊仙境》、縮減為119個字詞的《羅密歐與茱麗葉》,以及減少為192個字詞的《自由之心》。

就技術原理來看,此款微調後的GPT-3語言模型,將會依照文章長度進行判斷,其中包含文章長度較短內容直接擷取結論,長篇文章則會在各個片段擷取重點,並且持續縮減文章字數,進而將這些內容以相同撰寫口吻串接成通順可讀內容。

而此項語言模型則是透過平均字詞數在10萬以上的小說內容進行訓練,而這樣的訓練模式更可更換為不同語言模型、不同採樣方式,以及不同訓練數據類型持續升級,並且藉由強化學習以對抗生成方式,產生可讓人類輕易閱讀結果。

同時,在強化學習部分也採用三種變體抽樣訓練方式,藉此讓語言模型確實能理解小說內容表達主軸。

在訓練過程中,研究人員透過Goodreads 2020榜單上最受歡迎的40本書籍,分別涵蓋幻想、恐怖、愛行、推理等20種內容類別,並且透過兩名研究人員與語言模型個別針對此類書籍進行總結,讓研究人員與語言模型總結結果能有80%比例相近,藉此讓分析結果更接近人類預期內容。

另外,研究人員也會透過語言模型擷取摘要內容,能否用於回答與原始內容相關問題作為評估,藉此判斷摘要內容是否正確。即使未能完整回答問題,但內容方向至少不會有明顯偏離。

但依照OpenAI方面表示,現階段並未有計畫開源此項微調後的GPT-3語言模型,因此主要還是聚焦在研究階段。

1 則回應