OpenAI神秘模型，再次被Sam Altman提及

　　5月6日，OpenAI首席執(zhí)行官Sam Altman在社交平臺(tái)分享了一條推文“我是一個(gè)優(yōu)秀的GPT-2聊天機(jī)器人”。

　　而在4月30日，Altman就提起過(guò)該模型非常喜歡GPT-2。按道理說(shuō)一個(gè)只有15億參數(shù)在2019年發(fā)布的開(kāi)源模型，被反復(fù)提及兩次就很不尋常。

　　更意外的是GPT-2曾短暫上榜LMSYS的聊天機(jī)器人競(jìng)技場(chǎng)性能媲美GPT-4、Claude Opus等模型。

　　很多人猜測(cè)，難道這是OpenAI即將發(fā)布的GPT-4.5、GPT-5?但在5月2日的一場(chǎng)公開(kāi)演講中，Altman否認(rèn)了這個(gè)說(shuō)法。

　　從GPT-2展示出的性能來(lái)看有一點(diǎn)是可以肯定的，OpenAI掌握了一種新的訓(xùn)練、微調(diào)模型方法，可將小參數(shù)模型的性能訓(xùn)練的和大參數(shù)模型一樣優(yōu)秀，就像微軟剛發(fā)布的Phi-3系列模型。

　　所以，這可能是一款針對(duì)手機(jī)、平板等移動(dòng)設(shè)備的高性能、低消耗模型。因?yàn)椋④洝⒐雀?、Meta等科技巨頭都發(fā)布了針對(duì)移動(dòng)端的大模型，唯獨(dú)OpenAI遲遲沒(méi)有發(fā)布。

　　加上蘋(píng)果正在與OpenAI、谷歌洽談希望在iOS18中使用GPT系列模型來(lái)增強(qiáng)用戶(hù)體驗(yàn)和產(chǎn)品性能。非常善于營(yíng)銷(xiāo)的Altman用這種“新鍋抄舊菜”的方法進(jìn)行病毒式宣傳來(lái)贏得蘋(píng)果的信任。

　　一方面，可以極大展示自己模型的性能與技術(shù)實(shí)力;另一方面給谷歌造成壓力，雖然其Gemini系列是針對(duì)移動(dòng)端的，但在市場(chǎng)應(yīng)用方面并沒(méi)有太多的反響。

　　開(kāi)發(fā)移動(dòng)端的大模型都有一個(gè)非常相似的技術(shù)特點(diǎn)，就是參數(shù)都非常小。例如，微軟剛發(fā)布的Phi-3系列模型，最小的只有13億參數(shù);谷歌的Gemini系列模型最小的只有18億。

　　這是因?yàn)?，參?shù)越大模型的神經(jīng)元就越多對(duì)硬件的要求也就越高。如果想部署在移動(dòng)端的大模型需要考慮電池、存儲(chǔ)空間、算力、延遲、推理效率等因素，才能在有限的硬件空間內(nèi)發(fā)揮出最大的性能。例如，直接使用一個(gè)1000億參數(shù)的模型，可能還沒(méi)問(wèn)幾下電池先耗盡了。

　　此外，在移動(dòng)設(shè)備對(duì)推理的效率要求也很高。目前手機(jī)端的延遲大概是web、PC端的數(shù)倍，如果想更好地使用語(yǔ)音助手、實(shí)時(shí)翻譯、文本問(wèn)答這些功能，也是使用小參數(shù)模型的主要原因之一。

　　所以，OpenAI使用在2019年開(kāi)源的15億參數(shù)GPT-2模型來(lái)實(shí)驗(yàn)最合適不過(guò)了，并且架構(gòu)也是基于Transformer，基本上是GPT-3、GPT-4的先輩模型。

　　當(dāng)然，如果未來(lái)OpenAI真的發(fā)布面向移動(dòng)端的小參數(shù)模型，名字肯定不會(huì)再叫GPT-2，大概會(huì)起GPT-4mini/little一類(lèi)的吧。