壓縮ChatGPT等模型文本提示，極大節省AI算力

　　本文來自于微信公眾號 AIGC開放社區(ID:AIGCOPEN)，作者:AIGC開放社區。

　　在長文本場景中，ChatGPT等大語言模型經常面臨更高算力成本、更長的延遲以及更差的性能。為了解決這三大難題，微軟開源了LongLLMLingua。

　　據悉，LongLLMLingua的核心技術原理是將“文本提示”實現最高20倍的極限壓縮，同時又可以準確評估提示中內容與問題的相關程度，消除無關內容保留關鍵信息，達到降本增效目的。

　　實驗結果顯示，經過LongLLMLingua壓縮后的提示，比原始提示的性能提升了17.1%，同時輸入GPT-3.5-Turbo的tokens減少了4倍。在LongBench和ZeroScrolls測試中顯示，每1，000個樣本節省28.5美元和27.4美元的成本。

　　當壓縮約10k tokens的提示，壓縮率在2-10倍范圍內時，端到端延遲可以降低1.4-3.8倍，顯著加速了推理速率。

　　從介紹論文來看，LongLLMLingua主要由問題感知的粗細粒度壓縮、文檔重排序、動態壓縮比率和壓縮后子序列恢復4大模塊組成。

　　問題感知的粗粒度壓縮模塊

　　該模塊的設計思路是，使用問題文本進行條件化，評估每個段落與問題的相關程度，保留相關度更高的段落。

　　具體來說，通過計算問題文本與各段落的條件困惑度，判斷二者的邏輯關聯程度，條件困惑度越低表示相關性越高。

　　在此基礎上，設置閾值保留困惑度較低的段落，過濾掉與問題不相關的段落。這實現了根據問題快速移除大量冗余信息的粗粒度壓縮。

　　文檔重排序模塊

　　研究表明，在提示中，靠近開始和結束位置的內容對語言模型的影響最大。所以該模塊根據各段落的相關程度對其進行重新排序，使關鍵信息出現在對模型更敏感的位置，減少中間位置信息損失。

　　通過利用粗粒度壓縮模塊計算出的各段落與問題的關聯度，對段落進行排序，使關聯度最高的段落排在最前面。這進一步增強了模型對關鍵信息的感知。

　　在獲取重排序后的相關段落后，需要進一步壓縮每個段落內的詞量。此時動態壓縮比率模塊對提示進行精細調控。

　　動態壓縮比率模塊

　　對更相關的段落使用更低的壓縮比率，分配更多的保留詞語預算，而對相關性較弱的段落則使用更高的壓縮比率。

　　通過利用粗粒度壓縮結果中的段落關聯度，動態確定每個段落的壓縮比率。關聯度最高的段落壓縮比率最低，依次類推。

　　實現自適應、細粒度的壓縮控制，有效保留關鍵信息。壓縮后還需要提高結果的可靠性，這就需要下面的壓縮后子序列恢復模塊。

　　壓縮后子序列恢復模塊

　　在壓縮過程中，一些關鍵詞可能被過度刪除，影響信息的完整性，而該模塊可以檢測并恢復這些關鍵詞。

　　工作原理是，利用源文本、壓縮文本、生成文本之間的子序列關系，從生成結果中恢復完整的關鍵名詞詞組，修復壓縮帶來的信息缺失，提高結果的準確性。

　　整個過程有點像我們快速瀏覽文章、篩選信息、整合要點的工作流程等，使模型快速捕捉文本的關鍵信息，生成高質量的摘要。

　　LongLLMLingua實驗數據

　　研究人員構建了一個基于Natural Questions的多文檔問答數據集，其中每個示例包含一個問題及20個相關文檔，并需要從這20個文檔中查找到答案。

　　該數據集模擬了實際的搜索引擎和問答場景，可以評估模型在長文檔中的問答性能。

　　此外，研究人員還采用了更為通用的長文本理解基準測試集，包括LongBench和ZeroSCROLLS，以評估方法在更廣泛場景下的效果。

　　其中，LongBench覆蓋單文檔問答、多文檔問答、文本摘要、少樣本學習等任務，包含英文數據集。ZeroSCROLLS則包括文本摘要、問答理解、情感分析等典型語言理解任務。

　　在這些數據集上，研究人員比較了LongLLMLingua壓縮后的提示與原始提示在大語言模型上的性能。同時，也與其他提示壓縮方法進行了對比，如基于困惑度的LLMLingua和基于檢索的方法，評估了LongLLMLingua的有效性。

　　實驗結果顯示，LongLLMLingua壓縮后的提示在問答準確率、生成文本質量等指標上普遍優于原始提示。

　　例如，在NaturalQuestions上，壓縮4倍的提示提升了17.1%的問答準確率。當壓縮約10k tokens的提示，壓縮率在2-10倍范圍內時，端到端延遲可以降低1.4-3.8倍。這充分證明LongLLMLingua可以在壓縮提示的同時提升關鍵信息提取。