用大模型讀取你的想法，并轉化成文本！恐怖的DeWave模型

　　本文來自于微信公眾號 AIGC開放社區(ID:AIGCOPEN)，作者:AIGC開放社區。

　　悉尼科技大學的科研人員，通過大語言模型、EEG(大腦活動檢測工具)、腦機接口等技術，開發了一個可自動讀取人類想法，并轉化成文本的AI大模型——DeWave。

　　DeWave的使用方法非常簡單，用戶只需要戴上EEG，然后開啟你的思維活動，DeWave就能將你的想法直接翻譯成文本，就像現實版的《讀心人》非常“恐怖”。

　　相比馬斯克的Neuralink腦機接口芯片，DeWave使用更加簡單方便，無需做昂貴的手術植入芯片，通過海量數據訓練的大模型就能將腦電波翻譯成文本。

　　DeWave可幫助那些無法說話的腦血栓、中風、聾啞人等，可與正常人進行交流，目前翻譯的準確率在40%左右。其實這個產品用于談戀愛場景也不錯，雙方都帶上這個，再也不怕對方撒謊了。

　　值得一提的是，該研究已經被全球頂級機器學習大會“NeurIPS”，評選為重要論文。

　　DeWave功能展示

　　其實這項技術與去年10月19日，Meta發布的通過MEG(另外一種大腦活動檢測工具)重構人類大腦成像過程有點類似。都是通過EEG、MEG等工具捕獲大腦微弱活動電流，檢測這些磁場變化，然后獲得腦部活動數據。

　　獲得原始大腦數據后，研究人員就可以用大語言模型等對其進行解碼，提取重要的視覺、文本信息。所以，獲取大腦活動數據是翻譯、重構人類想法、思維畫面的關鍵基礎。

　　DeWave簡單介紹

　　DeWave的核心技術思路是，將連續的腦電波信號轉化為離散的編碼，然后輸入預訓練的大語言模型進行文本翻譯。

　　首先，通過向量量化變分編碼器的結構，將接收到的腦電波信號，轉換成一系列向量化的特征表示。

　　然后，這些特征表示會被進一步轉化為一系列離散的代碼，每個代碼都對應碼本里的一個離散詞向量。碼本就像一個字典，里面有限個數的離散詞向量。特征表示通過在碼本中找到最匹配的那個離散詞向量，來獲得對應的離散代碼。

　　在得到一系列離散代碼之后，就可以像處理語言詞向量一樣，輸入到預訓練的大語言模型，最終生成翻譯的文本內容。

　　DeWave訓練流程

　　DeWave的訓練流程主要分為三個階段:1)自監督編碼器預訓練(僅原始EEG腦磁波)，這一階段會先訓練一個腦電波自編碼模型，輸入原始EEG波形，通過重建實現自監督。這樣可以提取有用的時域和頻域特征。

　　2)編碼器和碼本訓練，固定好波形編碼器后，訓練Transformer編碼器與離散碼本，獲得穩定可分離的腦電波表示。

　　3)端到端微調，解凍大語言模型允許端到端訓練。在編碼器引導下微調BART模型，實現EEG到文本的生成。需要注意的是，對詞級特征輸入并不需要第一階段的預訓練，可以直接從第二階段開始。

　　DeWave局限性

　　研究人員表示，DeWave模型在將腦電波轉化為文本的任務中取得了一定的成果，但也存在一些局限性。

　　依賴于預訓練大語言模型:DeWave在實現腦電波到文本的轉換過程中使用了預訓練大語言模型，如BART。

　　這意味著DeWave方法的性能受限于預訓練語言模型的質量和能力。如果預訓練語言模型不夠準確或不具備廣泛的語言理解能力，可能會影響到DeWave方法的翻譯性能。

　　對平行數據的依賴性:DeWave方法在訓練過程中需要使用平行的腦電波和文本對數據，以進行監督學習。

　　然而，獲取大規模的平行數據對于某些任務可能是困難的或成本較高的。因此，如果缺乏足夠的平行數據，DeWave方法的性能可能會受到限制。

　　對標記的依賴性:盡管DeWave方法在文中聲稱可以在沒有標記(如眼動追蹤)的情況下實現腦電波到文本的翻譯，但它仍然依賴于基于標記的對齊過程。

　　DeWave使用了事件標記來將腦電波分割成單詞級別的特征，這可能導致在沒有標記的情況下無法準確地對腦電波進行分割和翻譯。

　　悉尼科技大學首席研究員兼DeWave作者， Chin-Teng Lin表示，DeWave是第一個將離散編碼集成在大腦到文本翻譯領域的產品，引入了一種創新的神經解碼方法。同時與大語言模型的集成，也開辟了神經科學和AI相結合的全新探索。

　　什么是EEG

　　EEG 是電腦圖(Electroencephalogram) 的縮寫，它是一種記錄大腦電活動的檢測方法。EEG 主要是通過頭皮上的電極來捕捉大腦神經細胞之間通信的微小電信號。

　　大腦活動產生電流，當神經細胞(神經元)被激活時，它們會產生電信號。EEG 檢測的是大量神經元同步活動所產生的電位變化。主要用于科學研究、腦部檢測、腦部疾病治療等。

　　什么是MEG

　　MEG，全稱為腦磁圖(Magnetoencephalography)，是一種神經成像技術，用于測量大腦活動中產生的極微弱的磁場。MEG能夠提供關于大腦功能的空間和時間信息。

　　MEG的工作原理是基于生物電活動產生磁場的物理原理。當大腦中的神經元活動時，它們會產生微小的電流，這些電流會產生相應的磁場。

　　MEG設備使用一種非常靈敏的傳感器，稱為超導量子干涉設備(SQUIDs)，來檢測這些微小的磁場。

　　MEG主要應用:定位腦功能、研究大腦通信、診斷和治療規劃、研究神經發育和疾病等。