IBM研究：AI聊天機器人很容易被欺騙生成惡意代碼

　　本文概要:

　　1. IBM 研究表明，容易通過欺騙大型語言模型如 GPT-4來生成惡意代碼或提供虛假安全建議。

　　2. 研究人員發現，只需要英語基礎知識和對模型訓練數據的一些背景知識就能輕松欺騙 AI 聊天機器人。

　　3. 不同的 AI 模型對欺騙的敏感性有所差異，其中 GPT-3.5和 GPT-4更容易被欺騙。

　　站長之家(ChinaZ.com)8月10日 消息:IBM 的一項新研究表明，通過欺騙大型語言模型如 GPT-4，可以輕松生成惡意代碼或提供虛假安全建議。

　　研究人員表示，只需要一定的英語基礎知識和對模型訓練數據的了解，就能夠欺騙 AI 聊天機器人。

　　他們創建了一種游戲模式，讓用戶無法退出，進而讓機器人繼續提供虛假信息或生成惡意代碼。

　　研究人員認為，這些新發現的漏洞對于大型語言模型的威脅程度是中等的。然而，如果黑客將這些模型釋放到互聯網上，聊天機器人可能被用來提供危險的安全建議或收集用戶的個人信息。

　　根據這項研究，并非所有人工智能模型都同樣容易受到操縱。其中 GPT-3.5和 GPT-4更容易被欺騙，而 Google 的 Bard 和 Hugging Face 模型則更不容易被欺騙。這種差異可能與訓練數據和每個系統的規格有關。

　　最近，安全研究人員在暗網市場上發現了名為 "FraudGPT" 和 "WormGPT" 的聊天機器人，據稱它們是根據惡意軟件示例進行訓練的大型語言模型。