OpenAI下架AI文本檢測器，用AI檢測AI宣告失敗

　　本文來自微信公眾號“三易生活”(ID:IT-3eLife)，作者:三易菌。

　　“既是天使、也是魔鬼”，或許是如今對AI最為精確的一句描述。如今再度走紅的AI在幫助人類社會實現(xiàn)效率革命的同時，同樣也帶來AI新聞造假的泛濫以及愈演愈烈的AI騙局，因此監(jiān)管AI就成為了當(dāng)下科技界一個重要的議題。然而面對可以稱得上是日新月異的AI技術(shù)迭代速度，針對其可能衍生出諸多危險結(jié)果的思潮也開始高漲。

　　面對這一問題，作為當(dāng)下AI技術(shù)先驅(qū)的OpenAI站了出來。該公司創(chuàng)始人薩姆·奧特曼自今年年初開始就頻頻“走穴”，出席從學(xué)術(shù)界到工業(yè)界，再到監(jiān)管層面圍繞AI的相關(guān)討論，更是主動提出了監(jiān)管方案，并希望監(jiān)管部門早日考慮立法。同時OpenAI也沒忘記嘗試從技術(shù)層面來約束AI，并在今年2月推出了一款試圖區(qū)分人工編寫文本和AI生成文本的檢測工具。

　　這款工具名為AI文本檢測器(AI Text Classifier)，也曾被OpenAI方面認(rèn)為有助于防止AI文本生成器被濫用，但在經(jīng)過了數(shù)月的實踐后，OpenAI在數(shù)天前悄然下線了AI文本檢測器。根據(jù)OpenAI的說法，下架這款工具是因為檢測準(zhǔn)確率過低，但“會繼續(xù)研究更有效的相關(guān)技術(shù)”。所以簡而言之，就是OpenAI此前希望用AI來監(jiān)管AI的嘗試似乎已經(jīng)落空了。

　　此前OpenAI在推出這款A(yù)I文本檢測器時，其實外界的期待值曾頗高，并希望它能夠與ChatGPT上演一出“貓鼠游戲”。而這款公布的使用也一點都不復(fù)雜，在檢測過程中用戶只要將需要檢測的文本復(fù)制到檢測器上，就可以檢查內(nèi)容是否為AI生成，而且也不限定文本內(nèi)容的種類。

　　如果說在面對海量的信息時，人工監(jiān)管幾乎不現(xiàn)實，那么用AI相關(guān)技術(shù)來監(jiān)測內(nèi)容或許才是更具現(xiàn)實意義的操作。然而遺憾的是，AI文本檢測器的效果甚至連差強(qiáng)人意可能都稱不上。據(jù)OpenAI方面公布的相關(guān)數(shù)據(jù)顯示，AI檢測器在識別AI生成文本方面的正確率僅為26%，同時將人類所寫內(nèi)容識別為AI生成的錯誤率則達(dá)到了9%。

　　實際上，用戶體感可能還遠(yuǎn)低于這一數(shù)字。有研究人員就曾使用一本在數(shù)年前就已出版書籍中的片段進(jìn)行了測試，結(jié)果AI文本檢測器顯示，不清楚這本書的序言是否由AI撰寫，但前言“或許(Possibly)是人工智能生成，第一章的一段是“可能是(Likely)”人工智能寫的。

　　更有甚者，還有人曾將莎士比亞的《麥克白》放上去進(jìn)行檢測，結(jié)果的反饋卻是，“The classifier considers the text to be likelyAI-generated”。即這款A(yù)I檢測器認(rèn)為，《麥克白》可能是AI寫的。

　　事實上，不僅僅是OpenAI在嘗試以AI來制衡AI，如今有相當(dāng)多的機(jī)構(gòu)或研究人員正走在這條路上，但截至目前無一例外都沒有商業(yè)化的價值。

　　雖然OpenAI方面目前并未公布AI文本檢測器的技術(shù)原理，但從其所要實現(xiàn)的目的來看，大概率是使用監(jiān)督學(xué)習(xí)的方法。監(jiān)督學(xué)習(xí)其實是機(jī)器學(xué)習(xí)中的一種訓(xùn)練方式，是指利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使得其達(dá)到所要求性能的過程。在這里，訓(xùn)練數(shù)據(jù)成為輸入數(shù)據(jù)，分類則成為標(biāo)簽數(shù)據(jù)。

　　簡單來說，盡管本不知道A和B能得倒一個什么樣的關(guān)系，但是通過很多個A和B、且已知AB關(guān)系的數(shù)據(jù)可以得知，他們存在一種函數(shù)式關(guān)系f(A，B)，并且在后續(xù)可以通過f(A，B)來得到一個符合實際規(guī)律(相對準(zhǔn)確)的結(jié)果。眾所周知，ChatGPT訓(xùn)練中很重要的一步是RLHF， 即有人類反饋的增強(qiáng)學(xué)習(xí)，這其實就是非常典型的監(jiān)督學(xué)習(xí)。

　　作為一個AI領(lǐng)域經(jīng)典的方法論，監(jiān)督學(xué)習(xí)技術(shù)自然也有已經(jīng)被發(fā)現(xiàn)的缺陷。其一，監(jiān)督學(xué)習(xí)的一個重要前提，是需要大量的標(biāo)注數(shù)據(jù)，并且標(biāo)注數(shù)據(jù)的質(zhì)量對模型性能有著直接的影響，不準(zhǔn)確或不完整的標(biāo)注數(shù)據(jù)可能會導(dǎo)致模型的錯誤預(yù)測。其二，在實際應(yīng)用中，不同類別的樣本數(shù)量可能存在嚴(yán)重的不平衡，即某些類別的樣本數(shù)量遠(yuǎn)遠(yuǎn)少于其他類別。這就會導(dǎo)致模型在學(xué)習(xí)過程中對少數(shù)類別的識別性能較差，從而影響到模型的整體性能。

　　比如，OpenAI的AI文本檢測器之所以認(rèn)不出《麥克白》是莎士比亞的作品，關(guān)鍵因素就是莎士比亞是接近500年前的歷史人物，他寫《麥克白》所使用的古英語和現(xiàn)代英語存在不小的區(qū)別。但OpenAI的數(shù)據(jù)集里古英語的數(shù)量大概率極為有限，因此AI自然也就無法確定《麥克白》來自何處，而找不到出處就推斷為AI產(chǎn)出的內(nèi)容，其實也是相當(dāng)合理的。

　　因此這就是問題所在，如果AI檢測工具本身的性能夠強(qiáng)，它就需要一個接近ChatGPT、或者其他AI大模型量級的數(shù)據(jù)集。但顯而易見的是，從目前的情況來說，從無到有標(biāo)注一個有別于ChatGPT的數(shù)據(jù)集不僅OpenAI做不到，即使它的重要投資方微軟也有力未逮。畢竟如果真的有這樣的數(shù)據(jù)集，為什么不去拿它訓(xùn)練ChatGPT，來孵化出更強(qiáng)大的GPT-5呢?

　　所以歸根結(jié)底，用AI來監(jiān)管AI現(xiàn)階段可能還只是一個美好的暢想，但從當(dāng)下的技術(shù)條件來看，這一路徑并不具備現(xiàn)實意義。如果說單單幫助人類分辨到底哪些內(nèi)容是由AI產(chǎn)出，或許數(shù)字水印技術(shù)反而更有可行性。在ChatGPT等AI大模型生成內(nèi)容的那一刻就加入水印，直接讓用戶看到內(nèi)容時就能知道它到底是不是由AI生成的。