就技術原理來看，此款微調後的GPT-3語言模型，將會依照文章長度進行判斷，其中包含文章長度較短內容直接擷取結論，長篇文章則會在各個片段擷取重點，並且持續縮減文章字數，進而將這些內容以相同撰寫口吻串接成通順可讀內容。
但可惜現在並未計畫對外開放此項技術
藉由微調後的GPT-3語言模型，OpenAI實現以不到200個字詞精簡描述原本長達12萬個字詞撰寫的《傲慢與偏見》小說情節。
依照OpenAI研究人員說明，此項技術先將《傲慢與偏見》小說情節精簡為24796個字詞數的276段摘要，進而縮減為3272個字詞的25段摘要，以及更進一步縮減為475個字詞的4段摘要，最後再精簡為175個字詞數組成摘要，不僅讓文章長度縮減為原文的千分之一，更保留完整劇情走向。
其他透過此語言模型精簡摘要的小說，還包含將全文濃縮為136個字詞的《愛麗絲夢遊仙境》、縮減為119個字詞的《羅密歐與茱麗葉》，以及減少為192個字詞的《自由之心》。
就技術原理來看，此款微調後的GPT-3語言模型，將會依照文章長度進行判斷，其中包含文章長度較短內容直接擷取結論，長篇文章則會在各個片段擷取重點，並且持續縮減文章字數，進而將這些內容以相同撰寫口吻串接成通順可讀內容。
而此項語言模型則是透過平均字詞數在10萬以上的小說內容進行訓練，而這樣的訓練模式更可更換為不同語言模型、不同採樣方式，以及不同訓練數據類型持續升級，並且藉由強化學習以對抗生成方式，產生可讓人類輕易閱讀結果。
同時，在強化學習部分也採用三種變體抽樣訓練方式，藉此讓語言模型確實能理解小說內容表達主軸。
在訓練過程中，研究人員透過Goodreads 2020榜單上最受歡迎的40本書籍，分別涵蓋幻想、恐怖、愛行、推理等20種內容類別，並且透過兩名研究人員與語言模型個別針對此類書籍進行總結，讓研究人員與語言模型總結結果能有80%比例相近，藉此讓分析結果更接近人類預期內容。
另外，研究人員也會透過語言模型擷取摘要內容，能否用於回答與原始內容相關問題作為評估，藉此判斷摘要內容是否正確。即使未能完整回答問題，但內容方向至少不會有明顯偏離。
但依照OpenAI方面表示，現階段並未有計畫開源此項微調後的GPT-3語言模型，因此主要還是聚焦在研究階段。
1 則回應