帶記憶的超級GPT智能體，能做飯、煮咖啡、整理家務(wù)

　　本文來自于微信公眾號 AIGC開放社區(qū)(ID:AIGCOPEN)，作者:AIGC開放社區(qū)。

　　隨著AI技術(shù)的快速迭代，Alexa、Siri、小度、天貓精靈等語音助手得到了廣泛應(yīng)用。但在自然語言理解和完成復(fù)雜任務(wù)方面仍然有限。

　　相比文本的標(biāo)準(zhǔn)格式，語音充滿復(fù)雜性和多樣性(例如，地方話)，傳統(tǒng)方法很難適應(yīng)不同用戶的自定義語言，因此，語音助手需要針對固定領(lǐng)域設(shè)計(jì)語義解析方案，而無法對完全開放的語言進(jìn)行建模。

　　為了解決這一難題，卡內(nèi)基梅隆大學(xué)的研究人員基于大語言模型、視覺模型開發(fā)了HELPER。

　　該模型采用了檢索增強(qiáng)的大語言模型提示方法，可以將人機(jī)對話、指令和錯(cuò)誤糾正轉(zhuǎn)換為一系列參數(shù)化的視覺運(yùn)動(dòng)。

　　同時(shí)在成功執(zhí)行指令后，HELPER會(huì)將語言指令和執(zhí)行計(jì)劃作為記憶進(jìn)行存儲(chǔ)。

　　當(dāng)用戶再次提出類似請求時(shí)，HELPER會(huì)自動(dòng)檢索相關(guān)記憶并進(jìn)行適當(dāng)修改來滿足新的要求，從而實(shí)現(xiàn)個(gè)性化交互。

　　在TEACh的實(shí)驗(yàn)數(shù)據(jù)顯示，從對話中推斷步驟的測試中，HELPER的任務(wù)成功率和目標(biāo)條件成功率分別提高了1.7倍和2.1倍，超過了之前最好的模型。在從歷史對話中執(zhí)行任務(wù)中，HELPER也取得了絕佳的效果。

　　研究人員用物理模擬的方式展示了多個(gè)示例，HELPER可以進(jìn)行洗鍋、煮咖啡、做面包、整理卡片、制作飲料等一系列擬人化操作，并且你只需要詳細(xì)的告訴它一次就能記住你的需求，以后無需多說就能照著做。

　　從論文內(nèi)容來看，HELPER的技術(shù)架構(gòu)主要由規(guī)劃器、執(zhí)行器和視覺語言模型三大塊組成。

　　規(guī)劃器

　　該模塊利用檢索增強(qiáng)的大語言模型來進(jìn)行語義解析和生成一系列執(zhí)行計(jì)劃，同時(shí)配備了一個(gè)文本到程序的外部記憶存儲(chǔ)器，相當(dāng)于該模型的“大腦”。

　　在進(jìn)行語言解析時(shí)，規(guī)劃器會(huì)先基于當(dāng)前語言的輸入，使用大語言模型的編碼器計(jì)算輸入文本的向量表示，然后檢索出記憶庫中語義最相關(guān)的若干條記錄，將其中的文本-程序?qū)ψ鳛長LM的文本示例，隨后讓LLM生成新的程序。

　　生成的程序使用Python語言描述，涵蓋一系列參數(shù)化的視覺運(yùn)動(dòng)函數(shù)，如pickup(X)、goto(X)等，同時(shí)也負(fù)責(zé)處理執(zhí)行失敗后的重新規(guī)劃。

　　例如，當(dāng)某個(gè)動(dòng)作執(zhí)行失敗時(shí)，系統(tǒng)會(huì)調(diào)用外部的視覺語言模型來分析失敗原因并生成文本反饋， 規(guī)劃器隨后會(huì)根據(jù)反饋提示LLM生成修正后的新程序。

　　此外， 規(guī)劃器也會(huì)在任務(wù)成功執(zhí)行后，將用戶指令語言和對應(yīng)的執(zhí)行程序加入記憶庫中，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)。

　　執(zhí)行器

　　該模塊主要負(fù)責(zé)解析規(guī)劃器生成的程序，并基于當(dāng)前環(huán)境執(zhí)行指令操作，具體操作如下:

　　場景解析器:構(gòu)建環(huán)境的語義地圖、占用地圖，以及通過目標(biāo)檢測跟蹤對象信息。

　　動(dòng)作執(zhí)行器:將程序中的函數(shù)調(diào)用翻譯成具體的導(dǎo)航和操作動(dòng)作執(zhí)行。

　　前提檢查器:在執(zhí)行每個(gè)動(dòng)作前，驗(yàn)證必要的前提條件是否滿足。

　　位置檢查器:當(dāng)需要找到不在場景地圖中的目標(biāo)物體時(shí)，該模塊會(huì)提示LLM生成可能的搜索位置。

　　簡單來說，執(zhí)行器模塊相當(dāng)于HELPER的“四肢”，用來執(zhí)行具體的內(nèi)容。

　　視覺語言模型

　　當(dāng)具體計(jì)劃執(zhí)行失敗時(shí)，系統(tǒng)需要分析失敗原因。所以，HELPER使用了視覺語言模型ALIGN進(jìn)行糾錯(cuò)、審查。

　　方法是將當(dāng)前視覺輸入與一系列預(yù)定義的錯(cuò)誤文本進(jìn)行匹配，輸出最相似的錯(cuò)誤類型，幫助規(guī)劃器模塊快速找到錯(cuò)誤所在。這種方法比簡單的像素對比判斷故障類型更加精準(zhǔn)和通用。