「字少信息量大」，Salesforce、MIT 研究者手把手教 GPT-4「改稿」，數據集已開源

　　本文來自于微信公眾號 機器之心(ID:almosthuman2014)，作者:機器之心。

　　近年來，自動摘要技術取得了長足的進步，這主要歸功于范式的轉變 —— 從在標注數據集上進行有監督微調轉變為使用大語言模型(LLM)進行零樣本 prompt，例如GPT-4。不需要額外的訓練，細致的 prompt 就能實現對摘要長度、主題、風格等方面特征的精細控制。

　　但一個方面常常被忽視:摘要的信息密度。從理論上講，作為對另一個文本的壓縮，摘要應該比源文件更密集，也就是包含更多的信息。考慮到 LLM 解碼的高延遲，用更少的字數涵蓋更多的信息非常重要，尤其是對于實時應用而言。

　　然而，信息量密度是一個開放式的問題:如果摘要包含的細節不足，那么相當于沒有信息量;如果包含的信息過多，又不增加總長度，就會變得難以理解。要在固定的 token 預算內傳遞更多信息，就需要將抽象、壓縮、融合三者結合起來。

　　在最近的一項研究中，來自 Salesforce、MIT 等機構的研究者試圖通過征求人類對 GPT-4生成的一組密度越來越高的摘要的偏好來確定這一限制。對于提升 GPT-4等大語言模型的「表達能力」，這一方法提供了很多啟發。

　　具體來說，他們將每個 token 的平均實體數量作為密度的代表，生成了一個初始的、實體稀少的摘要，然后在不增加總長度(總長度為5倍)的情況下，反復識別并融合前一個摘要中缺失的1-3個實體，每個摘要的實體與 token 比例都高于前一個摘要。根據人類的偏好數據，作者最終確定，人類更喜歡幾乎與人類編寫的摘要一樣密集的摘要，而且比普通 GPT-4prompt 生成的摘要更密集。

　　總體來說，該研究的貢獻包括:

　　開發一種基于 prompt 的迭代方法 (CoD)，使得摘要的實體密度越來越高;

　　對 CNN/《每日郵報》文章中越來越密集的摘要進行人工和自動評估，以更好地了解信息量(傾向于更多實體)和清晰度(傾向于更少的實體)之間的權衡;

　　開源了 GPT-4摘要、注釋和一組5000篇未注釋的 CoD 摘要，用于評估或提煉。

　　什么是 CoD

　　作者制定了一個單一的密度鏈(CoD)Prompt，即生成一個初始摘要，并使其實體密度不斷增加。具體來說，在一個固定的交互次數中，源文本中一組獨特的突出實體被識別出來，并在不增加長度的情況下融合到之前的摘要中。

　　圖2顯示了 Prompt 和輸出示例。作者沒有規定實體的類型，而是將缺失實體定義為:

　　相關:與主要故事相關;

　　具體:描述性的但簡潔(5個字或更少);

　　新穎:未出現在之前的摘要中;

　　忠實:存在于文章中;

　　任何地方:位于文章的任何地方。

　　作者從 CNN/DailyMail 摘要測試集中隨機抽取了100篇文章，為其生成 CoD 摘要。為便于參考，他們將 CoD 摘要統計數據與人類撰寫的要點式參考摘要以及 GPT-4在普通 Prompt 下生成的摘要進行比較:「寫一篇非常簡短的文章摘要。請勿超過70個字。」

　　統計情況

　　在研究中，作者從直接統計數據和間接統計數據兩方面進行了總結。直接統計數據(token、實體、實體密度)由 CoD 直接控制，而間接統計數據則是密集化的預期副產品。

　　直接統計數據。如表1所示，由于從最初冗長的摘要中刪除了不必要的詞語，第二步平均減少了5個 token(從72到67)的長度。實體密度從0.089開始，最初低于人類和 Vanilla GPT-4(0.151和0.122)，經過5步密集化后，最終上升到0.167。

　　間接統計。抽象度應該會隨著每一步 CoD 的進行而增加，因為每增加一個實體，摘要就會被反復改寫以騰出空間。作者用提取密度來衡量抽象性:提取片段的平均平方長度 (Grusky et al.，2018)。同樣，隨著實體被添加到固定長度的摘要中，概念融合度也應隨之單調增加。作者用與每個摘要句子對齊的源句子的平均數量來表示融合度。在對齊上，作者使用相對 ROUGE 增益法 (Zhou et al.，2018)，，該方法將源句與目標句對齊，直到額外句子的相對 ROUGE 增益不再為正。他們還預計內容分布(Content Distribution)，也就是摘要內容所來源的文章中位置，會發生變化。

　　具體來說，作者預計 CoD 摘要最初會表現出強烈的「引導偏向」(Lead Bias)，但隨后會逐漸開始從文章的中間和末尾引入實體。為了測量這一點，他們使用了融合中的對齊結果，并測量了所有對齊源句的平均句子等級。

　　圖3證實了這些假設:抽象性隨著重寫步驟的增加而增加(左側提取密度較低)，融合率上升(中圖)，摘要開始納入文章中間和末尾的內容(右圖)。有趣的是，與人類撰寫的摘要和基線摘要相比，所有 CoD 摘要都更具抽象性。

　　結果

　　為了更好地理解 CoD 摘要的 tradeoff，作者開展了一項基于偏好的人類研究，并使用 GPT-4進行了基于評級的評估。

　　人類偏好。具體來說，對于同樣的100篇文章(5個 step *100= 總共500篇摘要)，作者向論文的前四位作者隨機展示了經過「重新創作」的 CoD 摘要以及文章。根據 Stiennon et al. (2020) 對「好摘要」的定義，每位注釋者都給出了自己最喜歡的摘要。表2報告了各注釋者在 CoD 階段的第一名得票情況，以及各注釋者的匯總情況。總的來說，61% 的第一名摘要(23.0+22.5+15.5)涉及≥3個致密化步驟。首選CoD 步數的中位數位于中間(3)，預期步數為3.06。

　　根據 Step3摘要的平均密度，可以大致推斷出所有 CoD 候選者的首選實體密度為 ∼0.15。從表1中可以看出，這一密度與人類編寫的摘要(0.151)相一致，但明顯高于用普通 GPT-4Prompt 編寫的摘要(0.122)。

　　自動度量。作為人工評估的補充(如下)，作者用 GPT-4從5個維度對 CoD 摘要進行評分(1-5分):信息量、質量、連貫性、可歸屬性和整體性。如表3所示，密集度與信息量相關，但有一個限度，在步驟4(4.74)時得分達到頂峰。

　　從各維度的平均得分來看，CoD 的第一個和最后一個步驟得分最低，而中間三個步驟得分接近(分別為4.78、4.77和4.76)。

　　定性分析。摘要的連貫性 / 可讀性與信息量之間存在著明顯的 trade-off。圖4中展示了兩個 CoD 步驟:一個步驟的摘要因更多細節而得到改善，另一個步驟的摘要則受到損害。平均而言，中間 CoD 摘要最能實現這種平衡，但這種 tradeoff 仍需在今后的工作中去精確定義和量化。