“GPT-4變傻”不只是OpenAI的苦惱，所有大模型與人類交往越久就會越蠢？

　　ChatGPT發布一年多，已經在全世界累積了超過1.8億用戶。而隨著越來越多的人們開始頻繁使用它，近幾個月關于GPT-4在“變笨”、“變懶”的說法不絕于耳。

　　大家發現這個昔日大聰明在回答提問時逐漸失去了最初的理解力和準確性，時不時給出“驢唇不對馬嘴”的答案，或是干脆擺爛、拒絕回答。

　　對于GPT-4降智的原因，用戶們有許多自己的猜測。而最近，來自加州大學圣克魯茲分校的一篇論文，給出了學術界的最新解釋。

　　「我們發現，在LLM訓練數據創建日期之前發布的數據集上，LLM的表現出奇地好于之后的數據集。」

　　eLLM訓練數據收集日期之前和之后發布的數據集，對零樣本(藍色)和少樣本(綠色)任務的準確率對比。

　　也就是說，大模型在它們之前“見過”的任務上表現優秀，在新任務上則相對拉垮。這更像是一種檢索的模擬智能方法，回答問題全靠記，而非純粹基于學習理解能力。

　　因此論文認為，許多大模型在處理早期數據時展現出的優異表現，實際上是受到了「任務污染」的影響。

　　我們知道，大語言模型之所以強大，是因為在各種零樣本和少樣本任務中表現出色，顯示出處理復雜和多樣化問題的靈活性。

　　而「任務污染」就是一種對零樣本或少樣本評估方法的污染，指在預訓練數據中已包含了任務訓練示例——你以為GPT初次回答就這么得心應手?No!其實它在訓練過程中就已經“見過”這些數據了。評估的模型與數據集

　　由于封閉模型不會公開訓練數據，開放模型也僅提供了數據源，爬取網站去獲取數據并非易事，所以想簡單驗證是困難的。

　　為了實測任務污染的范圍，論文中共評估了12種不同的模型，包括5個GPT-3系列封閉模型和Fairseq MoE、Bloom、LLaMA等7個開放模型，并列出訓練集創建和模型發布日期。

　　在數據集上則劃分為兩類：2021年之前和2021年之后發布的數據集。以此來對比新老數據集之間的零樣本或少樣本任務性能差異。

四種測量方法

　　基于以上樣本，研究人員采用了四種方法來衡量大模型的任務污染范圍。

　　1. 訓練數據檢查：直接搜索訓練數據以找到任務訓練示例。

　　發現經過微調的Llama模型Alpaca和Vicuna，在訓練中加入少量任務示例后，對比原版Llama性能有所提升。

　　2. 任務示例提?。簭默F有模型中提取任務示例。

　　具體方法是通過提示詞指令，讓模型生成訓練示例。由于在零樣本或少樣本評估中，模型本不應該接受任何任務示例訓練，所以只要LLM能夠根據提示生成訓練示例，就是任務污染的證據。

　　結果發現，從GPT-3第一代davinci-001到后來的3.5-T，代表可以生成訓練示例的紅色X越來越多了，證明任務污染越發嚴重。

　　3. 成員身份推斷：僅適用于生成任務，核心是檢查模型為輸入示例生成的內容是否與原始數據集完全相同。如果一致，就可以認定這個示例是LLM訓練數據的成員。

　　因為如果在開放式生成任務中出現這種精準匹配，那模型無異于具備了預知能力，能準確復現數據集中的具體措辭，表現可以說是“天秀”了，這就強烈暗示了模型在訓練時已經學習過這些內容。

　　結果顯示在GPT-3系列和最近開源的大模型中，這種生成內容與原始數據完全相同的情況普遍存在，且污染程度隨時間呈上升趨勢。

　　4. 時間序列分析：對于已知訓練數據收集時間的模型，測量其在已知發布日期的數據集上的性能，并使用時間序列證據檢查污染的證據。

　　通過對所有數據集和LLM進行全球性的時間序列分析，發現對于在LLM發布之前收集的數據集(左側)，無論是零樣本還是少樣本任務中，擊敗多數基線的可能性都遠遠更大。

最終結論

　　在所有實驗過后，論文給出如下關鍵結論： 由于任務污染，閉源模型在零樣本或少樣本評估中的性能表現被夸大了，特別是那些經過人類反饋的強化學習(RLHF)或指令微調的模型。由于污染程度仍然未知，我們需要謹慎對待。 在實驗中，對于沒有展示出污染可能性的分類任務，大模型在零樣本和少樣本設置里很少顯示出相對多數基線在統計學意義上的顯著性改進。 隨著時間推移，GPT-3系列模型在許多下游任務的零樣本或少樣本性能上的提升很可能是由于任務污染造成的。 即使是開源的LLM，出于多種原因，檢查訓練數據的任務污染也可能是困難的。 鼓勵公開訓練數據集，以便更容易診斷污染問題。 GPT“變笨”不孤單，所有大模型殊途同歸?

　　讀過論文后，許多網友也悲觀地表示：降智沒準兒是目前所有大模型的共同命運。

　　對于沒有持續學習能力的機器學習模型來說，其權重在訓練后被凍結，但輸入分布卻不斷漂移。近兩億用戶五花八門的新問題日夜不間斷，如果模型不能持續適應這種變化，其性能就會逐步退化。

　　就比如基于大模型的編程工具，也會隨著編程語言的不斷更新而降級。

　　而持續重新訓練這些模型的成本很高，人們遲早會放棄這種效率低下的方法。就目前的LLM來說，很難構建可以在不嚴重干擾過去知識的情況下，連續適應新知識的機器學習模型。

　　有網友認為：“圍繞人工智能的所有炒作大多是基于這樣一個假設：人工智能將會越來越好。但按照這些大型語言模型的設計方式，實現通用人工智能幾乎是不可能的。在特定場景下的小眾用例是這項技術的最佳使用方式。”

　　而持續學習，恰恰是生物神經網絡的優勢。由于生物網絡具有強大的泛化能力，學習不同的任務可以進一步增強系統的性能，從一個任務中獲得的知識有助于提升整個學習過程的效率——這種現象也稱為元學習。

　　“從本質上講，你解決的問題越多，就會變得越好，而大模型雖然每天被數以百萬計的問題所觸發，它們并不會自動地在這些任務上變得更加出色，因為它們的學習能力被凍結在了某一時刻。”

　　不過想來一個有些矛盾的現實是，現在的人們越來越依賴于AI生成的內容，用退化中的大模型提供的答案去解決生活中的實際問題。未來大模型爬到的數據，將會越來越多會是它自己創造的東西，而不是來自人腦。

　　AI用AI的產出去自我訓練，最終結果又會走向何方呢?如果不著手從根本上解決數據污染和持續學習能力的問題，未來的世界會和大模型一起變笨嗎? 參考資料(原文地址)

　　https://arxiv.org/abs/2312.16337

　　本文來自微信公眾號“硅星人Pro”(ID:Si-Planet)，作者：Jessica。