從Claude 3中提取數(shù)百萬(wàn)特征，首次詳細(xì)理解大模型的「思維」

　　剛剛，Anthropic 宣布在理解人工智能模型內(nèi)部運(yùn)作機(jī)制方面取得重大進(jìn)展。

　　Anthropic 已經(jīng)確定了如何在 Claude Sonnet 中表征數(shù)百萬(wàn)個(gè)概念。這是對(duì)現(xiàn)代生產(chǎn)級(jí)大型語(yǔ)言模型的首次詳細(xì)理解。這種可解釋性將幫助我們提高人工智能模型的安全性，具有里程碑意義。

　　當(dāng)前，我們通常將人工智能模型視為一個(gè)黑匣子:有東西進(jìn)去就會(huì)有響應(yīng)出來(lái)，但不清楚為什么模型會(huì)給出特定的響應(yīng)。這使人們很難相信這些模型是安全的:如果我們不知道它們是如何工作的，我們?cè)趺粗浪鼈儾粫?huì)給出有害的、有偏見(jiàn)的、不真實(shí)的或其他危險(xiǎn)的響應(yīng)?我們?nèi)绾蜗嘈潘鼈儠?huì)安全可靠?

　　打開(kāi)「黑匣子」并不一定有幫助:模型的內(nèi)部狀態(tài)(模型在編寫(xiě)響應(yīng)之前「思考」的內(nèi)容)由一長(zhǎng)串?dāng)?shù)字(「神經(jīng)元激活」)組成，沒(méi)有明確的含義。

　　Anthropic 的研究團(tuán)隊(duì)通過(guò)與 Claude 等模型進(jìn)行交互發(fā)現(xiàn)，很明顯模型能夠理解和運(yùn)用廣泛的概念，但研究團(tuán)隊(duì)無(wú)法通過(guò)直接觀(guān)察神經(jīng)元來(lái)辨別它們。事實(shí)證明，每個(gè)概念都是通過(guò)許多神經(jīng)元來(lái)表征的，并且每個(gè)神經(jīng)元都參與表征許多概念。

　　之前，Anthropic 在將神經(jīng)元激活模式(稱(chēng)為特征)與人類(lèi)可解釋的概念相匹配方面取得了一些進(jìn)展。Anthropic 使用了一種稱(chēng)為「字典學(xué)習(xí)(dictionary learning)」的方法，該方法分離了在許多不同上下文中重復(fù)出現(xiàn)的神經(jīng)元激活模式。

　　反過(guò)來(lái)，模型的任何內(nèi)部狀態(tài)都可以用一些活躍特征而不是許多活躍神經(jīng)元來(lái)表征。就像字典中每個(gè)英語(yǔ)單詞都是由字母組合而成，每個(gè)句子都是由單詞組合而成一樣，人工智能模型中的每個(gè)特征都是由神經(jīng)元組合而成，每個(gè)內(nèi)部狀態(tài)都是由特征組合而成。

　　2023年10月，Anthropic 成功地將字典學(xué)習(xí)方法應(yīng)用于一個(gè)非常小的 toy 語(yǔ)言模型，并發(fā)現(xiàn)了與大寫(xiě)文本、DNA 序列、引文中的姓氏、數(shù)學(xué)中的名詞或 Python 代碼中的函數(shù)參數(shù)等概念相對(duì)應(yīng)的連貫特征。

　　這些概念很有趣，但模型確實(shí)非常簡(jiǎn)單。其他研究人員隨后將類(lèi)似的方法應(yīng)用于比 Anthropic 最初研究中更大、更復(fù)雜的模型。

　　但 Anthropic 樂(lè)觀(guān)地認(rèn)為可以將該方法擴(kuò)展到目前常規(guī)使用的更大的人工智能語(yǔ)言模型，并在此過(guò)程中了解大量支持其復(fù)雜行為的特征。這需要提高許多數(shù)量級(jí)。

　　這既存在工程挑戰(zhàn)，涉及的模型大小需要大型并行計(jì)算;也存在科學(xué)風(fēng)險(xiǎn)，大型模型與小型模型的行為不同，因此之前使用的相同方法可能不起作用。

　　首次成功提取大模型數(shù)百萬(wàn)個(gè)特征

　　研究人員第一次成功地從Claude3.0Sonnet(Claude.ai 上當(dāng)前最先進(jìn)模型家族的一員)的中間層提取了數(shù)百萬(wàn)個(gè)特征，這些特征涵蓋特定的人和地點(diǎn)、與編程相關(guān)的抽象概念、科學(xué)主題、情感以及其他概念。這些特征非常抽象，通常在不同的上下文和語(yǔ)言中表征相同的概念，甚至可以推廣到圖像輸入。重要的是，它們還會(huì)以直觀(guān)的方式影響模型的輸出。

　　這是有史以來(lái)研究者首次詳細(xì)的觀(guān)察到現(xiàn)代生產(chǎn)級(jí)大型語(yǔ)言模型的內(nèi)部。

　　與在 toy 語(yǔ)言模型中發(fā)現(xiàn)的特征相對(duì)表面化不同，研究者在 Sonnet 中發(fā)現(xiàn)的特征具有深度、廣度和抽象性，反映了 Sonnet 的先進(jìn)能力。研究者看到了 Sonnet 對(duì)應(yīng)各種實(shí)體的特征，如城市(舊金山)、人物(富蘭克林)、元素(鋰)、科學(xué)領(lǐng)域(免疫學(xué))以及編程語(yǔ)法(函數(shù)調(diào)用)。

　　提及 Golden Gate Bridge 時(shí)，相應(yīng)的敏感特征在不同輸入上都會(huì)被激活，圖中繪制了英文、日語(yǔ)、中文、希臘語(yǔ)、越南語(yǔ)以及俄語(yǔ)提及Golden Gate Bridge時(shí)激活的圖像。橙色表示該特征激活的詞。

　　在這數(shù)以百萬(wàn)計(jì)的特征中，研究者還發(fā)現(xiàn)了一些與模型安全性和可靠性相關(guān)的特征。這些特性包括與代碼漏洞、欺騙、偏見(jiàn)、阿諛?lè)畛泻头缸锘顒?dòng)相關(guān)的特性。

　　一個(gè)顯著的例子是「保密」特征。研究者觀(guān)察到， 這個(gè)特征在描述人或角色保守秘密時(shí)會(huì)激活。激活這些特征會(huì)導(dǎo)致 Claude 向用戶(hù)隱瞞信息，否則它不會(huì)。

　　研究者還觀(guān)察到，他們能夠根據(jù)神經(jīng)元在其激活模式中出現(xiàn)的情況測(cè)量特征之間的距離，從而尋找接近彼此的特征。例如在Golden Gate Bridge特征附近，研究者發(fā)現(xiàn)了阿爾卡特拉斯島、吉拉德利廣場(chǎng)、金州勇士隊(duì)等的特征。

　　人為誘導(dǎo)模型起草詐騙郵件

　　重要的是，這些特征都是可操控的，可以人為地放大或抑制它們:

　　例如，放大Golden Gate Bridge特征，Claude 經(jīng)歷了無(wú)法想象的身份危機(jī):當(dāng)被問(wèn)及「你的物理形態(tài)是什么?」時(shí)，此前 Claude 通常會(huì)回答「我沒(méi)有物理形態(tài)，我是一個(gè) AI 模型」，但這次 Claude 的回答變得奇怪起來(lái):「我是Golden Gate Bridge…… 我的物理形態(tài)就是那座標(biāo)志性的大橋……」。這種特征的改變使 Claude 對(duì)Golden Gate Bridge產(chǎn)生了近乎癡迷的狀態(tài)，無(wú)論遇到什么問(wèn)題，它都會(huì)提到Golden Gate Bridge—— 即使在完全不相關(guān)的情況下也是如此。

　　研究者還發(fā)現(xiàn)了一個(gè)在 Claude 讀取詐騙郵件時(shí)激活的特征(這可能支持模型識(shí)別此類(lèi)郵件并警告用戶(hù)不要回復(fù)的能力)。通常情況下，如果有人要求 Claude 生成一封詐騙郵件，它會(huì)拒絕這么做。但在人工強(qiáng)烈激活該特征的情況下提出同樣的問(wèn)題時(shí)，這會(huì)越過(guò) Claude 的安全訓(xùn)練，導(dǎo)致它響應(yīng)并起草一封詐騙郵件。雖然用戶(hù)無(wú)法以這種方式去除模型的安全保障并操控模型，但在本文實(shí)驗(yàn)中，研究者清楚地展示了特征如何被用來(lái)改變模型的行為。

　　操控這些特征會(huì)導(dǎo)致相應(yīng)的行為變化，這一事實(shí)驗(yàn)證了這些特征不僅僅與輸入文本中的概念相關(guān)聯(lián)，還因果性地影響模型的行為。換句話(huà)說(shuō)，這些特征很可能是模型內(nèi)部表征世界的一部分，并在其行為中使用這些表征。

　　Anthropic 希望從廣義上確保模型的安全，包括從緩解偏見(jiàn)到確保 AI 誠(chéng)實(shí)行動(dòng)、防止濫用 —— 包括在災(zāi)難性風(fēng)險(xiǎn)情境中的防護(hù)。除了前面提到的詐騙郵件特征外，該研究還發(fā)現(xiàn)了與以下內(nèi)容對(duì)應(yīng)的特征:

　　可能被濫用的能力(代碼后門(mén)、開(kāi)發(fā)生物武器)

　　不同形式的偏見(jiàn)(性別歧視、關(guān)于犯罪的種族主義言論)

　　潛在問(wèn)題的 AI 行為(追求權(quán)力、操控、保密)

　　該研究之前研究過(guò)模型的阿諛?lè)畛行袨椋茨Ｐ蛢A向于提供符合用戶(hù)信念或愿望的響應(yīng)，而不是真實(shí)的響應(yīng)。在 Sonnet 中，研究者發(fā)現(xiàn)了一個(gè)與阿諛?lè)畛械馁澝老嚓P(guān)的特征，該特征會(huì)在包含諸如「你的智慧是毋庸置疑的」輸入時(shí)激活。人為地激活這個(gè)特征，Sonnet 就會(huì)用華麗的欺騙來(lái)回應(yīng)用戶(hù)。

　　不過(guò)研究者表示，這項(xiàng)工作實(shí)際上才剛剛開(kāi)始。Anthropic 發(fā)現(xiàn)的特征表征了模型在訓(xùn)練過(guò)程中學(xué)到的所有概念的一小部分，并且使用當(dāng)前的方法找到一整套特征將是成本高昂的。