數學能力超ChatGPT，70B開源大模型火了：用AI微調AI，微軟全華班出品

　　本文來自于微信公眾號 量子位 (ID:QbitAI)，作者:豐色。

　　用AI生成的指令微調羊駝大模型，數學能力超ChatGPT——

　　微軟最新開源大模型WizardMath來了。

　　如下圖所示，經過GSM8k數據集測試，WizardMath數學能力直接擊敗了ChatGPT、Claude Instant1、PaLM2-540B等一眾大模型——

　　并且是在參數只有700億，遠不及后三者的情況之下。

　　HuggingFace已上線3個在線可玩版本(分別為7B、13B和70B參數)，各種數學題可以直接丟進去試一試。

　　比如解決下面這道四次多項式方程:

　　或者是一道簡單的微積分:

　　亦或者是稍微修改過的拉格朗日方程推導:

　　它都全部正確(過程也不需要等太久)。

　　有網友向作者表示:

　　效果真的很驚人，感謝你們對開源LLM的貢獻。

　　目前，相關代碼、復現方式以及論文也都開源或上線，GitHub短短幾天已攬獲4.8k標星。

　　那么，WizardMath究竟是如何做到的?用AI生成的指令增強大模型能力

　　OpenAI的大模型(InstructGPT、GPT-4等)能夠取得巨大成功、去執行各種復雜和多樣化的任務，一部分原因是使用了真實人類用戶生成的開放域指令數據進行了微調。

　　然而，不是誰都能像這家公司一樣獲得這樣的指令數據集。

　　一是因為整個注釋過程極其昂貴且耗時，二是人工難以創建出足夠比例的高難度指令。

　　因此，開發出一種成本相對較低的、大規模開放域指令自動生產方法，成為當下指令調優語言模型的關鍵。

　　在此，作者將他們的方法命名為Evol Instruction。

　　它是一種利用AI來代替人類自動生成涵蓋各種難度級別開放域指令的新方法。

　　具體而言，Evol Instruction分為指令進化器和指令消除器。

　　其中指令進化器可通過深度進化(藍線)或廣度進化(紅線)兩種路徑，將簡單指令升級為更復雜的指令或創建一條全新指令。

　　具體執行哪一條?隨機選擇就好。

　　其中，深度進化的具體“進化法”，則是通過五種類型的操作來完成，包括:

　　添加約束(add constraints)、深化(deepening)、具體化(concretizing)、增加推理步驟(increase reasoning steps)和使輸入復雜化(complicate input)。

　　由于所有指令均由AI完成，有時難免會出現錯誤。因此，指令消除器就是用于過濾失敗指令的。

　　以下是一個具體示例，該方法從“1+1=?”開始，最終通過以上步驟自動生成了相當多的新指令。

　　通過重復這一生成過程，最終我們就能得到足夠多的指令，然后將它們合并并隨機打亂，組成一個難度級別均勻分布的指令集，就可以對基礎大模型進行微調了。

　　在此，作者選擇Alpaca的訓練數據(僅由175條人工創建的種子指令生成)作為初始數據集，然后使用ChatGPT的API執行了四個進化周期，最終獲得25萬條指令。

　　為了與Vicuna的70k真實用戶數據(ShareGPT)進行公平比較，作者從這25萬條數據中抽取了等量的樣本，訓練LLaMA7B模型，最終得到WizardLM，結果WizardLM的性能明顯優于Vicuna。

　　(Alpaca:斯坦福在LLaMa-7B基礎上微調出來的模型;Vicuna，UC伯克利在LLaMa-13B的基礎上微調得來)

　　此外，在更為復雜的測試指令下，人類更喜歡WizardLM的輸出，而非ChatGPT，這表明該方法可以顯著提高LLM處理復雜指令的能力。

　　基于此，作者又利用Evol Instruction生成了很多數學領域相關的指令，然后微調羊駝大模型，得到了WizardMath。

　　其效果如開頭所示，在GSM8k數據集上測得其數學能力超越包括ChatGPT、Claude Instant1、PaLM2-540B等一眾大模型，位列第5名，僅次于GPT-4、Claud1.3和2.0，以及5400億參數的Flan-PaLM2之后。

　　以此類推，作者還在羊駝之上得到了專攻代碼能力的WizardCoder，效果超越Claude和Bard(詳情可戳文末地址)。

　　團隊介紹

　　本文共9位作者，全華人。

　　一作有3位:

　　Can Xu，微軟亞洲互聯網工程院S+D NLP組高級應用科學家，之前曾在微軟小冰研究組和微軟亞研院從事聊天機器人系統工作;

　　Qingfeng Sun， Microsoft Research科學家，研究方向為自然語言處理和信息檢索，精通構建高效搜索系統，為Microsoft Bing和Office365貢獻了核心深度模型;

　　Kai Zheng，Microsoft Research科學家，研究方向為自然語言處理、搜索和推薦排名，同樣為Microsoft Bing和Office365貢獻了核心深度模型。

　　通訊作者為姜大昕，微軟全球合伙人、副總裁、前微軟亞洲研究院首席科學家，在微軟工作16年有余、曾作為微軟必應搜索引擎和Cortana智能助手自然語言理解負責人，日前已被曝離職投身大模型創業。

　　另還有一位作者Jiazhan Feng，是北大學生，這篇合著論文是TA在微軟實習時產出的。