可識別 AI 生成的科學文本的新型檢測工具問世

　　今年早些時候美國田納西州健康科學中心的放射學家 Som Biswas 引起關注，因為他在《放射學》雜志上發表了一篇由人工智能聊天機器人 ChatGPT 協助寫作的文章，題為《ChatGPT 與醫學寫作的未來》。他表示，他使用并編輯了 ChatGPT 生成的文本，目的是提高人們對該技術的實用性的認識。他還透露，之后他又在四個月內利用 ChatGPT 發表了 16 篇期刊文章。有些期刊編輯也反映，他們收到了大量使用 ChatGPT 寫作的文章。

　　為了應對這種情況，堪薩斯大學的化學教授 Heather Desaire 和她的團隊開發了一種新的 AI 檢測工具，可以高效準確地區分科學文本是由人類還是 ChatGPT 生成的，他們的研究結果發表在《細胞報告物理科學》雜志上。

　　Desaire 教授說，她和她的團隊首先分析了 64 篇《科學》雜志上的“觀點”文章，這些文章是對當前研究進行評論和評價的綜述性文章。然后，他們又分析了 128 篇由 ChatGPT 生成的關于同樣研究主題的文章。通過比較兩者，他們找出了 20 個特征，可以幫助判斷科學文本的作者身份。

　　他們發現，人類科學家和 ChatGPT 在段落復雜度、句子長度、標點符號和詞匯使用等方面有明顯不同。例如，人類科學家更傾向于使用括號、破折號、問號、分號和大寫字母，而 ChatGPT 則不常用。人類科學家也更喜歡使用“模棱兩可的語言”，如“然而”、“盡管”、“但是”等。此外，人類科學家寫作時既有很短的句子，也有很長的句子，而 ChatGPT 則比較平均。

　　基于這 20 個特征，他們使用了一種現成的機器學習算法 XGBoost 來訓練他們的 AI 檢測工具，他們測試了他們的 AI 檢測工具在 180 篇文章上的表現，發現其非常擅長判斷一篇科學文章是由人類還是 ChatGPT 寫作的。“這種方法有超過 99% 的準確率”，Desaire 教授說，并補充說這比現有的工具要好得多，因為現有的工具是在更廣泛的文本類型上進行訓練的，而不是專門針對科學文本的。

　　Desaire 教授說，這種 AI 檢測工具可以幫助期刊編輯處理大量使用 ChatGPT 寫作的文章，可以讓他們優先考慮哪些文章值得送審。她還說，這種工具可以根據不同的領域進行調整，比如用來檢測學生的剽竊行為，只要在適合的語言上進行訓練就行。“你可以把它改造用于你想要的任何領域，只要想好哪些特征是有用的。”

　　然而IT之家注意到，并非所有人都認為這種 AI 檢測工具有多大用處。南澳大利亞大學變化與復雜性學習中心(C3L)的 Vitomir Kovanovi?博士說，Desaire 教授和她的團隊所做的比較是不現實的，因為他們只比較了 100% 由 AI 生成和 100% 由人類生成的文本，而沒有考慮到人類和 AI 之間的協作。他說，當科學家使用 ChatGPT 時，往往會有一定程度的人機合作，比如科學家會編輯 AI 生成的文本。這也是必要的，因為 ChatGPT 有時會出錯，甚至會生成虛構的參考文獻。但是由于研究者只比較了兩種極端情況，他們的成功率就被提高了。

　　阿德萊德大學機器學習研究所的 Lingqiao Liu 博士也認為，在真實世界中，這種 AI 檢測工具的準確率可能會降低，導致更多的錯誤分類。Liu 博士是一位開發算法來檢測 AI 生成圖像的專家，他說：“從方法論上講，這沒問題，但使用它有一定風險。”

　　另一方面，Liu 博士指出，人們也有可能指示 ChatGPT 以特定的方式寫作，從而讓 100% 由 AI 寫作的文本通過檢測。事實上，一些評論員甚至談到了一個“軍備競賽”，指的是那些試圖讓機器更像人類和那些試圖揭露那些出于惡意目的使用這項技術的人之間的競爭。

　　Kovanovi?博士認為這是“沒有意義的競賽”，因為這項技術有著強大的發展勢頭和潛在的積極影響。他說，AI 檢測“沒有抓住重點，我認為我們最好把精力投入到如何有效地使用 AI 上。”他還反對使用反剽竊軟件來評估大學生是否使用了 AI 寫作，并稱這給學生造成了不必要的壓力。