開源版OpenAI再出「神作」，小模型吊打Llama 3！Ministral系列問世，邊緣AI革命開啟

　　【新智元導讀】Mistral7B誕生一周年之際，法國AI初創(chuàng)公司Mistral再次連發(fā)兩個輕量級模型Ministral3B和Ministral8B，性能趕超Llama38B。

　　Mistral7B僅僅發(fā)布一周年，法國AI初創(chuàng)小模型「les Ministraux」就打敗它了。

　　它堪稱是，世界上最好的邊緣模型。

　　Ministral3B和Ministral8B這兩款輕量級模型，專為邊緣設備打造。

　　截至目前，它們正式加入Mixtral、Pixtral、Codestral、Mathstral行列，成為Mistral一員。

　　別看僅有30億參數(shù)，在指令跟隨基準上，完全超越了Llama38B，以及前輩模型Mistral7B。

　　而且Ministral3B和Ministral8B在大模型競技場中的測試，均拿下了媲美Gemma2、Llama3.1開源模型的成績。

　　世界上最好的邊緣模型

　　Ministral3B和Ministral8B都支持高達128k上下文(目前在vLLM上為32k)。

　　在知識、常識、推理、函數(shù)調(diào)用、效率等方面，為低于10B參數(shù)模型設立了新標桿。

　　而且，Ministral8B還有配備了滑動窗口注意機制(sliding-window attention)，以實現(xiàn)更快和內(nèi)存高效的推理。

　　不論是管理復雜的AI智能體工作流，還是創(chuàng)建專門的任務助手，它們均可以被微調(diào)到各種用例中。

　　趕超開源模型，擊敗Mistral7B

　　研究人員在多項基準測試中，評估了Les Minimrau的性能。

　　其中包括知識與常識、代碼、數(shù)學、多語言四大方面。

　　預訓練模型

　　如下圖所示，與Gema22B、Llama3.23B相比較，Minstral3B在以上基準上，取得了最優(yōu)成績。

　　在與Llama3.18B、Mistral7B相比較過程中，僅有代碼能力，Minstral8B還有些差距，其余放方面均是性能最高的模型。

　　如下是，更加直觀可視化柱狀圖，Minstral8B在各項評測中，占據(jù)首位。

　　指令模型

　　再來看微調(diào)后的指令模型，性能比較的結(jié)果。

　　在大模型競技場中，Minstral3B在不同基準上，實現(xiàn)了最優(yōu)。Minstral8B僅在Wild bench上，略遜于Gema29B。

　　另外，在代碼、數(shù)學、函數(shù)調(diào)用方面，兩款新模型性能大幅超越其余模型。

　　下圖，可以直觀看出指令微調(diào)后的Minstral3B比更大的Mistral7B的改進。

　　如下是指令微調(diào)后的Minstral8B模型，與其他模型的性能對比直觀圖。

　　邊緣計算皆可用，0.1美金百萬token

　　如今，大模型在實際落地中，不如小模型來的更切實際。

　　越來越多的用戶，希望對關鍵應用程序能夠進行本地優(yōu)先推理，比如設備上翻譯、不用聯(lián)網(wǎng)智能助理，自動機器人等等。

　　正如官博所述，Les Minimraux正為這些場景，提供了高計算效率、低延遲的解決方案。

　　當與Mistral Large等更大的模型結(jié)合使用時，les Ministraux還可以作為多步智能體工作流中，進行函數(shù)調(diào)用的高效中介。

　　通過微調(diào)，它們能以極低的延遲和成本基于用戶意圖，跨多個上下文處理輸入解析、任務路由和調(diào)用API。

　　價格

　　根據(jù)官方公布的價格所示，Minstral8B輸入輸出價格為百萬token，0.1美元。Minstral3B則為百萬token0.04美元。

　　開源版OpenAI，不再Open

　　自去年成立以來，Mistral曾以磁力鏈方式開源了多款媲美OpenAI的模型，一路走紅得到AI社區(qū)的認可。

　　這家總部位于巴黎的Mistral，由Meta、谷歌DeepMind前員工創(chuàng)立。

　　幾個月前，它以60億美金估值，完成6.4億美元新一輪融資，并隨之推出了一款GPT-4級別的模型——Mistral Large2。

　　此外，他們在今年，還推出了一個專家混合模型Mixtral8x22B。

　　它包含了一個編碼模型Codestral，以及一個數(shù)學推理和科學發(fā)現(xiàn)的模型。

　　不過，今年這家明星公司陷入了巨大爭議，因為它變得不再那么open。

　　年初，有消息爆料稱，微軟宣布將收購Mistral一些股份，并對其投資，意味著它的模型將在Azure AI進行托管。

　　甚至，還有Reddit網(wǎng)友發(fā)現(xiàn)，Mistral已從官網(wǎng)中，移除了致力于開源的承諾。

　　在一些模型的調(diào)用上，Mistral也開啟了收費模式，包括這次同樣如此。

　　有網(wǎng)友就此吐槽，不是開源的。

　　要知道，對于一家初創(chuàng)公司來說，一直堅持開源代碼是一個巨大的挑戰(zhàn)。

　　就比如反面教材Stability AI，完全放棄了開源的商業(yè)模式，也轉(zhuǎn)向了收費策略。

　　對于Mistral也是如此，若要持續(xù)打造優(yōu)秀的模型，只有這一種選擇。