Meta被曝明年發布「開源版GPT-4級」全新大模型！參數量比Llama 2大數倍，可免費商用

　　本文來自于微信公眾號 新智元(ID:AI_era)，作者:新智元。

　　外媒爆料，Meta正在加急研發全新開源大模型，對標GPT-4，參數量比Llama2還要大上數倍。Meta這是又要顛覆AI社區了?

　　根據外媒《華爾街日報》消息，Meta正在加緊開發新的大語言模型，能力將完全對標GPT-4，預計將于明年推出。

　　消息還特別強調了，Meta新的大語言模型將比Llama2大數倍，而且大概率還是會開源，支持免費商用。

　　自從年初Meta將LlaMA「不小心」泄露出來之后，到7月份Llama2的開源發布，Meta漸漸找到了自己在這次AI浪潮中的獨特位置——AI開源社區的旗幟。

　　人員震蕩不斷，模型能力有硬傷，靠開源坐回主桌

　　年初，在OpenAI用GPT-4引爆了科技行業之后，谷歌，微軟也相繼推出了自己的AI產品。

　　在5月份的時候，美國監管層就邀請了當時他們認為AI行業相關的頭部企業CEO，開了一個圓桌會議，討論AI技術的發展。

　　OpenAI，谷歌，微軟，都被邀請了，甚至還包括了初創公司Anthropic，但是卻沒有Meta的身影。當時官方對Meta缺席的回應是:「我們只邀請在AI行業中最頂尖的公司。」

　　好事沒有輪上Meta，但是麻煩卻源源不斷地找上門來。

　　先是6月初國會一封質詢信直接寄到的小扎手上，措辭嚴厲的要求他說明3月份LlaMA泄漏事故的前因后果。

　　而在后來的幾個月時間里，即便在Llama2發布之后，Meta之前花重金打造的AI團隊卻依然在逐漸分崩離析。

　　在Llama2的致謝中，提到的4位最先發起這項研究的團隊，其中三位已經離職，目前僅有Edouard Grave還在Meta。

　　業界大牛何愷明，也將離開Meta，回歸學術界。

　　根據最近The Information的爆料文章，Meta的AI團隊，因為對于內部算力的爭奪，摩擦不斷，人員陸續離開。

　　在這樣的大背景下，小扎自己應該也很清楚，Meta自己的大語言模型，也確實沒有辦法和業內最前沿的GPT-4沾邊。

　　不論是在各個方向的基準測試還是從用戶反饋來看，Llama2和GPT-4的差距依然還比較大。

　　在各項基準測試中，開源的Llama2和GPT-4還有不小差距

　　網友的實際體驗也在不斷強調GPT-4比Llama2依然領先不少

　　于是，小扎決定讓Meta直接在模型開源之路上繼續一路狂奔。

　　也許小扎背后的邏輯是這樣的:Meta模型能力一般，打不過閉源大佬，藏著掖著也沒啥意義。那就索性開源讓AI社區以自家模型為基礎來不斷迭代，擴大自己產品在業界的影響力。

　　而且小扎也不止一次的在公開場合表示，開源社區針對自己模型的迭代會讓自己的技術團隊獲得啟發，從而在未來開發出更有競爭力的產品。

　　小扎在Fridman的播客中強調，開源能讓Meta從社區中吸取靈感，而且未來Meta可能會推出閉源模型。

　　而事實也證明，Meta的這個選擇確實是正確的。

　　雖然在算力資源和技術實力上比不上谷歌，OpenAI，但是Meta的Llama2等開源模型對于開源社區的吸引力依然是首屈一指的。隨著Llama2慢慢成為AI開源社區的「技術底座」，Meta也在行業中找到了自己的生態位。

　　最明顯的一個標志是，馬上9月份將要召開的國會AI閉門會議之中，小扎終于成為了監管層的座上賓，和谷歌、OpenAI等行業最前沿的公司CEO一同作為代表，對于AI行業監管發出自己的聲音。

　　而如果明年Meta推出的新模型，能夠繼續保持進步，獲得和GPT-4持平的能力，一方面能讓開源社區繼續拉近與閉源巨頭的差距，坐實了「開源社區與行業最先進水平差距在一年左右」的說法。

　　另一方面，小扎在采訪中也曾透露，如果未來大模型能力進一步提升，Meta可能會推出自己的閉源模型。如果新的模型能進一步迫近行業SOTA，也許就離Meta推出自己的閉源模型不遠了。

　　雖然Meta看起來在這波AI浪潮中已經暫時落后了，但是小扎的野心也不甘心只做一個追隨者。

　　在「AI三巨頭」Yann Lecun的指引下，Meta也正在為顛覆整個行業做著準備。

　　Meta的未來

　　所以，這個傳說中能比肩GPT-4的神秘大模型之后，Meta AI未來會是什么樣子?

　　因為目前還沒有具體信息，我們也只能做一番猜測，比如從Meta AI首席科學家LeCun的態度入手。

　　當紅炸子雞GPT，一直是LeCun批評和鄙視的人工智能發展路線。

　　今年2月4日，LeCun就直白地表示，「在通往人類級別AI的道路上，大型語言模型完全是一條歪路」。

　　他認為這種根據概率生成自回歸的大模型最多活不過5年，因為這些人工智能只是在大量的文本上訓練的，它們無法理解現實世界。

　　所以這些模型既不會計劃也不能推理，它們擁有的只是上下文學習能力。

　　嚴肅的說，這些在LLM上訓練的人工智能幾乎毫無「智能」可言。

　　而LeCun期待的，則是能夠通向AGI的 「世界模型」。

　　世界模型能夠學習世界如何運作，更快速地進行學習，為完成復雜任務做出計劃，并隨時應對不熟悉的新情況。

　　這與需要大量預訓練的LLM不同，世界模型能夠像人類一樣，從觀察中找到規律，適應新環境、掌握新技能。

　　相較于OpenAI在LLM領域不斷精進深耕的策略，Meta力求多樣化的模型開發。

　　今年6月14日，Meta發布了一個「類人」的人工智能模型 I-JEPA，也是史上第一個基于LeCun世界模型愿景關鍵部分的AI模型。

　　論文地址:https://arxiv.org/abs/2301.08243

　　I-JEPA能夠理解圖像中的抽象表征，并通過監自督學習獲取常識。

　　并且I-JEPA不需要額外的人工制作的知識作為輔助。

　　之后，Meta推出了Voicebox，這是一個全新的突破性語音生成系統，基于 Meta AI 提出的一種新方法——流匹配。

　　它可以合成六種語言的語音，執行去噪、編輯內容、轉換音頻風格等操作。

　　Meta還發布了通用的具身AI agents。

　　通過語言引導技能協調(LSC)，機器人能夠在部分預先映射的環境中，進行自由的移動、拾取。

　　在多模態模型的開發中，Meta也與眾不同。

　　ImageBind，第一個能夠從六種不同模態綁定信息的人工智能模型。

　　它賦予機器全面的理解能力，將照片中的物體與它們的聲音、三維形狀、溫度以及運動方式聯系起來。

　　而來自Meta AI和CMU_Robotics共同開發的RoboAgent，讓機器人可以獲得各種各樣的非平凡技能，并將它們推廣到數百個生活場景中。

　　同時，所有這些場景的數據都比該領域先前的工作少一個數量級。

　　對于這次爆料的模型，有網友表示，希望他們繼續開放源代碼。

　　不過也有網友表示，Meta要到2024年初才會開始訓練。

　　但令人欣慰的是，Meta依舊釋放了自己將繼續堅持原有戰略的信號。