谷歌推出”自我發現“框架，極大增強GPT-4等大模型推理能力

　　隨著ChatGPT的出現，大語言模型在生成連貫文本和遵循指令方面獲得了巨大技術突破。然后在推理和解決復雜內容方面，面臨內容不準確、安全等難題。

　　谷歌Deepmind和南加州大學的研究人員提出了“SELF-DISCOVER”。這是一種用于大語言模型的通用框架，能自行發現任務內在的推理結構，以解決對典型提示方法的復雜推理問題。

　　為了測試性能，研究人員在多個復雜推理基準測試上評估了SELF-DISCOVER，包括Big Bench Hard、Thinking for Doing和MATH。

　　與僅使用鏈式思維(CoT)的方法相比，SELF-DISCOVER在21個任務上取得了高達42%的性能提升。在社交智能體推理任務上，使GPT-4的準確率達到了85%，比之前最好的方法提高了33%。

　　目前，傳統的提示方法在處理復雜推理問題時存在一定的局限性。例如，鏈式思維隱式假設了某種推理流程，無法充分利用不同模塊各自的長處。

　　此外，雖然鏈式思維很適合處理線性和逐步遞進的問題，但對于需要非線性思維或考慮多個維度交叉因素的復雜問題，這種方法可能無法提供幫助。

　　而SELF-DISCOVER可以引導大語言模型根據一組給定的原子推理模塊，自行選擇、調整和組合這些模塊，形成一個用于解決特定任務的推理結構。

　　這種結構不僅結合了多個推理模塊的優勢，而且對每個任務都是獨特定制的，從而極大提高模型的推理和解題能力。

　　任務層，自發現推理結構

　　這是SELF-DISCOVER的第一階段，主要在任務層面上發現解決該任務的推理結構，由三個細分模塊來做引導。

　　SELECT模塊:從一組原子推理模塊中選擇出解決給定任務的關鍵模塊。這些原子推理模塊包含了各種高層次的問題解決啟發式，例如“逐步思考”和“分解為子任務”。SELECT模塊會根據幾個任務示例，判斷哪些模塊對解決該任務至關重要。

　　ADAPT模塊:會細化每個SELECT模塊選擇出的推理模塊，使其更適合給定任務。例如，從“分解為子任務”細化為“先計算每個算術運算”。

　　IMPLEMENT模塊:將ADAPT模塊細化后的推理模塊實現為一個結構化的行動計劃，將自然語言描述轉化為鍵-值對格式的JSON結構，明確定義每一步需要生成什么內容。

　　使用發現的結構解決任務

　　在第一階段生成了一個與任務密切相關的推理結構之后，第二階段會使用這個結構來解決該任務的所有實例。

　　并在每個實例后面追加該結構，提示語言模型按照結構逐步填寫每個值，最后得出答案。

　　與其他方法相比，SELF-DISCOVER擁有三大優勢:1)發現的推理結構整合了多個推理模塊的優點;

　　2)它的效率很高，只需要在任務層面額外進行3次推理;3)發現的結構反映了該任務的內在特性，比優化后的提示更具解釋性。

　　研究還發現，SELF-DISCOVER在需要世界知識的任務上效果最好。這是因為綜合使用多個推理模塊可以使模型從不同視角理解問題，而僅使用鏈式思維可能會遺漏一些重要信息。

　　此外，與需要大量重復查詢的方法相比，SELF-DISCOVER也展現出了極高的效率。每次只需要一個查詢，而獲得相似性能的集成方法需要40倍的查詢量，也就是說可以節省很多算力資源。