Kimi向Open AI發(fā)起沖擊

　　本文來自于微信公眾號(hào) 全天候科技，作者:劉寶丹。

　　5天前，炙手可熱的AI獨(dú)角獸公司創(chuàng)始人楊植麟陷入一場(chǎng)仲裁糾紛，他堅(jiān)定選擇了依法抗辯。AI大模型正處于技術(shù)追趕的關(guān)鍵階段，他要把重心放在技術(shù)和產(chǎn)品上。

　　一年前的今天，Kimi正式面向全社會(huì)開放服務(wù)。一年后，Kimi迎來重磅技術(shù)迭代。

　　11月16日，楊植麟在媒體溝通會(huì)上表示，Scaling范式已經(jīng)發(fā)生變化，公司接下來的重點(diǎn)是基于強(qiáng)化學(xué)習(xí)去“Scale”。Scaling是支撐AI技術(shù)在過去幾年發(fā)展的根本原因，但并不是把模型做得更大就好，核心是找到Scaling的有效方法。

　　楊植麟表示，簡(jiǎn)單去預(yù)測(cè)下一個(gè)token，其實(shí)有一定的局限性，我們希望AI能夠去探索，接下來很重要的一個(gè)東西就是讓AI具備思考的能力。

　　會(huì)上，月之暗面發(fā)布了最新的數(shù)學(xué)模型k0—math，該模型主要通過數(shù)學(xué)場(chǎng)景去培養(yǎng)和訓(xùn)練AI深度思考的能力。這是Kimi 推出的首款推理能力強(qiáng)化模型。

　　Kimi將苗頭對(duì)準(zhǔn)OpenAI的最新技術(shù)。在多項(xiàng)基準(zhǔn)能力測(cè)試中，k0-math 的數(shù)學(xué)能力可對(duì)標(biāo)OpenAI的o1系列。比如，在中考、高考、考研以及包含入門競(jìng)賽題的MATH等4個(gè)數(shù)學(xué)基準(zhǔn)測(cè)試中，k0-math 初代模型成績(jī)超過o1-mini和o1-preview模型。

　　不過，追趕OpenAI并沒有那么容易。在兩個(gè)難度更大的競(jìng)賽級(jí)別的數(shù)學(xué)題庫(kù) OMNI-MATH 和 AIME 基準(zhǔn)測(cè)試中，k0-math 初代模型的表現(xiàn)分別達(dá)到了o1-mini最高成績(jī)的90%和83%。

　　目前，月之暗面已經(jīng)開始在k0-math上做產(chǎn)品化，公司將強(qiáng)化學(xué)習(xí)用到Kimi探索版，讓它做更復(fù)雜的搜索。據(jù)楊植麟介紹，Kimi探索版在搜索意圖、信源分析、鏈?zhǔn)剿伎挤矫姹憩F(xiàn)顯著。

　　同時(shí)，數(shù)學(xué)本身有更廣泛的應(yīng)用場(chǎng)景，月之暗面計(jì)劃把k0—math應(yīng)用到教育場(chǎng)景，包括K12、大學(xué)甚至是競(jìng)賽。

　　過去一年多，月之暗面經(jīng)歷了飛速發(fā)展，無論是產(chǎn)品技術(shù)還是估值，都成為最受矚目的AI獨(dú)角獸公司。

　　2023年3月，月之暗面成立;11月，Kimi 智能助手宣布全面開放，今年初，該產(chǎn)品因“長(zhǎng)文本”出圈，誕生Kimi概念股，受到廣泛關(guān)注。截至目前，月之暗面已完成四次融資，阿里、騰訊紛紛入股，公司估值超過200億元。

　　楊植麟在會(huì)上透露，Kimi在10月月活超過3600萬，而且還在持續(xù)更快的增長(zhǎng)。業(yè)內(nèi)人士分析，Kimi是僅次于豆包的AI應(yīng)用，目前處于第一梯隊(duì)，不過，相對(duì)國(guó)外幾億量級(jí)的用戶而言，Kimi還有很長(zhǎng)一段路需要追趕。

　　公司已將Scaling范式切換到強(qiáng)化學(xué)習(xí)，華爾街見聞獲悉，公司的多模態(tài)產(chǎn)品已經(jīng)處于內(nèi)測(cè)當(dāng)中，預(yù)計(jì)很快會(huì)對(duì)外公布，這些動(dòng)作無疑將帶來更多用戶。

　　在這場(chǎng)全球AI競(jìng)賽中，楊植麟要帶領(lǐng)月之暗面在一個(gè)裹挾著巨大希望和時(shí)刻被質(zhì)疑的行業(yè)里，闖出一條通往AGI的路，這場(chǎng)戰(zhàn)役才剛剛開始。

　　以下為交流會(huì)實(shí)錄(經(jīng)編輯):

　　問:數(shù)據(jù)會(huì)不會(huì)成為比較大的挑戰(zhàn)，怎么判斷哪些數(shù)據(jù)可以用，哪些有價(jià)值?

　　楊植麟:這個(gè)問題對(duì)于強(qiáng)化學(xué)習(xí)來講是一個(gè)核心問題，如果是像以前做Next—Token prediction，它是一個(gè)靜態(tài)數(shù)據(jù)，相對(duì)來說，這些技術(shù)會(huì)更成熟一些。但是對(duì)強(qiáng)化學(xué)習(xí)來講，所有的學(xué)習(xí)數(shù)據(jù)可能都是自己生成的，就會(huì)對(duì)獎(jiǎng)勵(lì)模型效果提出挑戰(zhàn)。

　　對(duì)于這個(gè)問題，核心是怎么更好地訓(xùn)練獎(jiǎng)勵(lì)模型，設(shè)置獎(jiǎng)勵(lì)的機(jī)制，如果做得足夠好的話，一定程度上是可以被解決的。有點(diǎn)像以前的(pre-training)你還要做很多的對(duì)齊工作，我覺得其實(shí)對(duì)強(qiáng)化學(xué)習(xí)來說也是一樣的。

　　問:對(duì)于強(qiáng)化學(xué)習(xí)，怎么平衡數(shù)據(jù)、算力、算法?

　　楊植麟:我覺得AI的發(fā)展就是一個(gè)蕩秋千的過程，你會(huì)在兩種狀態(tài)之間來回切換，一種狀態(tài)就是算法數(shù)據(jù)是非常ready，但是你的算力不夠。所以你要做更多的工程，把infra做得更好，它就能夠持續(xù)地提升。我覺得從transformer誕生到GPT4，更多的矛盾就是怎么能夠Scale，在算法和數(shù)據(jù)上可能沒有本質(zhì)的問題。

　　今天，當(dāng)你Scale差不多的時(shí)候，你會(huì)發(fā)現(xiàn)我再加更多的算力，并不一定能直接解決這個(gè)問題，核心是沒有高質(zhì)量的數(shù)據(jù)，小幾十G的token是人類互聯(lián)網(wǎng)積累了20多年的上限。這個(gè)時(shí)候要做的事情，就是通過算法的改變，讓這個(gè)東西不會(huì)成為瓶頸。好算法就是跟Scaling做朋友，如果你的算法能夠釋放Scaling的潛力，它就會(huì)持續(xù)變得更好。

　　我們從很早就開始做強(qiáng)化學(xué)習(xí)相關(guān)的東西，我覺得這個(gè)也是接下來很重要的一個(gè)趨勢(shì)，通過這種方式去改變你的目標(biāo)函數(shù)，改變你的學(xué)習(xí)的方式，讓它能持續(xù)的Scale。

　　問:這個(gè)產(chǎn)品如果一至兩周之后放到Kimi探索版里，用戶可以選擇用這個(gè)東西，還是你們會(huì)根據(jù)用戶的提問來分配模型?怎么去平衡成本問題?

　　楊植麟:這個(gè)問題特別好，接下來的版本大概率會(huì)讓用戶自己去選擇。早期通過這種方式可以更好地分配或者更好地滿足用戶的預(yù)期。

　　這里面最終可能還是一個(gè)技術(shù)問題，兩個(gè)點(diǎn)，一個(gè)點(diǎn)是能夠動(dòng)態(tài)地給它分配最優(yōu)的算力。如果模型足夠聰明的話，簡(jiǎn)單的問題，它的思考時(shí)間會(huì)更短。但是它可能還不是到最優(yōu)的點(diǎn)，我覺得它還有更優(yōu)，這是我們通過算法迭代去做的。

　　長(zhǎng)期來講，第二個(gè)點(diǎn)，成本也是不斷下降的過程。比如說，達(dá)到去年GPT4模型的水平，可能只需要十幾B的參數(shù)就能做到。我覺得整個(gè)行業(yè)先做大或者做小，是普遍普世的規(guī)律。

　　問:怎么看待AI創(chuàng)業(yè)公司被收購(gòu)，人才回流大的現(xiàn)象?

　　楊植麟:這個(gè)問題我們沒有遇到，但可能有一些別的公司遇到。

　　我覺得倒也正常，行業(yè)發(fā)展進(jìn)入了一個(gè)新的階段，它從一開始有很多公司在做，變成了現(xiàn)在少一點(diǎn)的公司在做，接下來大家做的東西會(huì)逐漸不一樣，我覺得這是必然的規(guī)律。

　　我們主動(dòng)選擇做了業(yè)務(wù)的減法，你應(yīng)該聚焦一些重要的事情，把一個(gè)產(chǎn)品做好，做到極致是最重要的。在幾個(gè)大模型創(chuàng)業(yè)公司里，我們始終保持人數(shù)最少，保持卡和人的比例是最高的，我覺得這個(gè)是非常關(guān)鍵的。我們不希望把團(tuán)隊(duì)擴(kuò)那么大，太大對(duì)創(chuàng)新有致命性傷害。

　　另外一點(diǎn)，我們也根據(jù)美國(guó)市場(chǎng)的情況去判斷，哪個(gè)業(yè)務(wù)最后做大的概率更高，我們聚焦在上限最高的事情，也要跟我們AGI的misson最相關(guān)。

　　問:我們一直不做多模態(tài)的原因是什么?

　　楊植麟:我們幾個(gè)多模態(tài)的能力在內(nèi)測(cè)。

　　AI接下來最重要的是思考和交互這兩個(gè)能力，思考的重要性遠(yuǎn)大于交互，他們兩個(gè)不太一樣，多模態(tài)肯定是必要的，但是我覺得是思考決定它的上限。

　　問:怎么看自己跟豆包的競(jìng)爭(zhēng)?

　　楊植麟:我們還是更希望關(guān)注怎么能給用戶帶來真正的價(jià)值，不希望過多關(guān)注競(jìng)爭(zhēng)本身，因?yàn)楦?jìng)爭(zhēng)本身并不產(chǎn)生價(jià)值。deliver更好的技術(shù)和產(chǎn)品，給用戶創(chuàng)造更大的價(jià)值，這是我們現(xiàn)在最核心的問題。

　　我們會(huì)更聚焦如何提升模型的思考推理能力，通過這個(gè)東西給用戶帶來更大的價(jià)值。我覺得，只要有人實(shí)現(xiàn)AGI，它都是非常好的結(jié)果。

　　問:Kimi用是你們自己的基礎(chǔ)模型，還是開源?

　　楊植麟:我們自己在做。

　　問:出海怎么想?

　　楊植麟:我覺得先聚焦，然后全球化，需要更耐心一點(diǎn)。

　　問:大模型的投流很受關(guān)注，Kimi投了上百萬的廣告，統(tǒng)計(jì)的金額四五億，我們?cè)谕读鬟@塊是什么策略?

　　楊植麟:第一數(shù)據(jù)不完全準(zhǔn)確。第二，對(duì)我們來講，最核心的是把留存和getting growth做好。適當(dāng)?shù)耐斗攀切枰模切枰胶夂谩?/p>

　　問:留存到多少會(huì)滿意?

　　楊植麟:永無止境。

　　問:至少RIO為正?

　　楊植麟:看怎么衡量吧，這個(gè)東西肯定需要去算，我們也會(huì)持續(xù)地提升。我們的好處是，跟技術(shù)的進(jìn)展高度正相關(guān)。

　　問:投流成本很高?Kimi怎么能把成本收回來，怎么做良性的商業(yè)化?

　　楊植麟:現(xiàn)在最關(guān)鍵的還是留存，我覺得這個(gè)還是需要看得再長(zhǎng)遠(yuǎn)一些。

　　問:美國(guó)預(yù)訓(xùn)練的Scale遇到瓶頸，對(duì)于中國(guó)公司來說是好事還是壞事?能不能對(duì)未來做一些預(yù)測(cè)?

　　楊植麟:對(duì)我們來說，它有可能是一個(gè)好事。假設(shè)你一直Pre-Training(預(yù)訓(xùn)練)，你的預(yù)算今年1B、明年10B或者100B，它不一定可持續(xù)。

　　當(dāng)然做強(qiáng)化學(xué)習(xí)也要Scaling，只是說Scaling的起點(diǎn)很低，可能在一段時(shí)間內(nèi)你的算力就不會(huì)是瓶頸，這個(gè)時(shí)候創(chuàng)新能力是更重要的，在這種情況下，我覺得對(duì)我們反而是一個(gè)優(yōu)勢(shì)。