讓大模型觸手可及 言犀AI開發(fā)計(jì)算平臺(tái)上線

　　本文來自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014)，作者:Esther。

　　大模型爆火的一年中，生成式 AI 行業(yè)最重要的發(fā)展瓶頸出現(xiàn)在算力側(cè)。9月20日，紅杉美國(guó)在文章《生成式 AI 的第二幕》提到，許多生成式人工智能公司在過去一年中很快發(fā)現(xiàn)，自身的發(fā)展瓶頸不是客戶需求，而是 GPU 緊張。漫長(zhǎng)的 GPU 等待時(shí)間成為常態(tài)，以至于一個(gè)簡(jiǎn)單的商業(yè)模式出現(xiàn)了:支付訂閱費(fèi)以跳過排隊(duì)，而獲得更好的模型。

　　在大模型的訓(xùn)練中，參數(shù)規(guī)模的指數(shù)級(jí)增加，帶來了訓(xùn)練成本的急劇攀升。對(duì)于緊張的 GPU 資源，盡可能地發(fā)揮出硬件的性能，提高訓(xùn)練效率，變成一件更加重要的事情。

　　AI 開發(fā)計(jì)算平臺(tái)是一個(gè)重要的解決方案。利用 AI 開發(fā)計(jì)算平臺(tái)，一個(gè)大模型開發(fā)者可以一站式完成覆蓋數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練及模型部署的 AI 開發(fā)全流程。除了能夠降低大模型開發(fā)的門檻，AI 計(jì)算平臺(tái)通過提供訓(xùn)練優(yōu)化以及推理管理服務(wù)，讓計(jì)算資源變得更加高效。

　　9月26日，根據(jù)京東云在西安城市大會(huì)上對(duì)言犀 AI 開發(fā)計(jì)算平臺(tái)的介紹，使用京東云所推出的言犀 AI 開發(fā)計(jì)算平臺(tái)，不到一周時(shí)間，即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、到模型部署的全流程;之前需要10余人的科學(xué)家團(tuán)隊(duì)工作，現(xiàn)在只需要1-2個(gè)算法人員;通過平臺(tái)模型加速工具優(yōu)化，使用團(tuán)隊(duì)能夠節(jié)約90% 的推理成本。

　　更重要的是，在大模型快速走入千行百業(yè)的當(dāng)下，言犀 AI 開發(fā)計(jì)算平臺(tái)通過對(duì)大模型算法開發(fā)者和應(yīng)用開發(fā)者同時(shí)賦能，對(duì)于應(yīng)用開發(fā)者還能夠使用低代碼的形式實(shí)現(xiàn)大模型產(chǎn)品開發(fā)。產(chǎn)業(yè)大模型開發(fā)變得門檻更低，利用和改造大模型，將更加簡(jiǎn)單了。

　　大模型時(shí)代，需要新的數(shù)字基礎(chǔ)設(shè)施

　　對(duì)一個(gè)大模型開發(fā)者來說，如果沒有 AI 開發(fā)計(jì)算平臺(tái)，意味著:在算法和應(yīng)用的開發(fā)過程中，需要自己搭建底層 GPU 算力資源的調(diào)度、存儲(chǔ)網(wǎng)絡(luò)、模型管控等一系列體系，整體開發(fā)過程將非常原始且門檻非常高。

　　而對(duì)于一個(gè)正在在內(nèi)部推行大模型行業(yè)應(yīng)用的公司來說，這意味著成本的迅速上升，以及訓(xùn)練效率的難以保證。

　　一年時(shí)間過去，金融、營(yíng)銷、汽車、內(nèi)容、法律、辦公等行業(yè)正在積極與大模型做結(jié)合。大模型的強(qiáng)大勢(shì)能成為許多行業(yè)里重構(gòu)競(jìng)爭(zhēng)格局的重要影響因素。更快地找到自己業(yè)務(wù)與大模型結(jié)合的場(chǎng)景，并高效地落地執(zhí)行，成為競(jìng)爭(zhēng)的關(guān)鍵。

　　但發(fā)展行業(yè)模型并不是一件順利的事，如今仍然面臨一系列的挑戰(zhàn)和機(jī)遇:

　　數(shù)據(jù)上，不同行業(yè)的數(shù)據(jù)呈現(xiàn)不同的集中度和分散狀態(tài)，數(shù)據(jù)準(zhǔn)備周期和處理難度各有千秋;海量多模態(tài)的數(shù)據(jù)在訓(xùn)練時(shí)如何高效加載，是一個(gè)必須要解決的問題。

　　其次，大模型訓(xùn)練時(shí)環(huán)境的穩(wěn)定性，故障斷點(diǎn)恢復(fù)及接續(xù)訓(xùn)練的處理，對(duì)訓(xùn)練效率產(chǎn)生很大影響;在訓(xùn)練和部署環(huán)節(jié)，如何高效的進(jìn)行算力調(diào)度，提升算力資源利用率，也是企業(yè)必須考慮的成本問題。

　　京東云在西安城市大會(huì)上的分享稱，在過去一段時(shí)間的實(shí)踐中，京東云發(fā)現(xiàn)，產(chǎn)業(yè)大模型的挑戰(zhàn)不僅僅在于技術(shù)本身，如何將技術(shù)與行業(yè)應(yīng)用場(chǎng)景相結(jié)合，如何平衡成本、效率、體驗(yàn)，才是大模型行業(yè)落地的真正挑戰(zhàn)。

　　回歸到最基礎(chǔ)的開發(fā)層面，平衡好成本、效率、體驗(yàn)，意味著需要重新解決并優(yōu)化一些問題。

　　京東云 IaaS 產(chǎn)品研發(fā)部負(fù)責(zé)人龔義成在采訪中進(jìn)一步解釋稱，大模型時(shí)代對(duì)開發(fā)基礎(chǔ)設(shè)施的要求與傳統(tǒng)已經(jīng)產(chǎn)生了巨大的差別。在效率層面上，過去 AI 開發(fā)過程中，即使是相對(duì)低成本一些的 GPU 也可以完成很多相關(guān)工作，但是在大模型場(chǎng)景下，AI 開發(fā)已經(jīng)嚴(yán)重依賴 A100、A800等高成本 GPU，對(duì) GPU 的算力和性能要求變得更高，成本也隨之快速攀升。

　　“因此，在高昂的成本下，如何把這些硬件性能壓榨到極致，對(duì)于大模型開發(fā)的成本效率就變得尤為重要。”

　　在過往 AI 的開發(fā)中，數(shù)據(jù)吞吐的并發(fā)度并沒有像大模型這么大，因?yàn)樗枰S多 GPU 同時(shí)工作，因此即使本身數(shù)據(jù)量不大，但大模型的并發(fā)讀取以及可能帶來的延遲問題，對(duì)高性能的存儲(chǔ)提出了新的要求，過往的存儲(chǔ)機(jī)制通常無法滿足。

　　龔義成還提到，由于數(shù)據(jù)存取過程中，如果延遲越低，那么整個(gè)模型的效率就會(huì)更高。如果利用自研的智能芯片，就可完全采用低延遲的網(wǎng)絡(luò)，那么就能幫助整個(gè)模型訓(xùn)練效率的提升。

　　另外，在規(guī)模層面上，千億參數(shù)以上的大模型訓(xùn)練基本都要用到千卡以上進(jìn)行訓(xùn)練。龔義成分享稱，這在以往的 AI 開發(fā)中是極其少見的，因此這對(duì)開發(fā)提出了很高且全新的經(jīng)驗(yàn)要求，對(duì)應(yīng)的開發(fā)基礎(chǔ)設(shè)施也完全不一樣。

　　對(duì)于想要提高大模型開發(fā)效率，幫助大模型更好得在行業(yè)中落地的公司來說，一套新的基礎(chǔ)設(shè)施成為了必要。

　　京東云發(fā)布言犀 AI 計(jì)算平臺(tái)

　　9月26日，京東在西安城市大會(huì)上正式對(duì)外發(fā)布了言犀 AI 開發(fā)計(jì)算平臺(tái)，產(chǎn)品覆蓋了數(shù)據(jù)準(zhǔn)備、模型開發(fā)、模型訓(xùn)練及模型部署的 AI 開發(fā)全流程能力，預(yù)置了主流開源大模型以及部分商業(yè)化大模型，以及一百多種推理工具和框架，能夠有效降低大模型開發(fā)門檻和成本。

　　在性能提升方面，言犀 AI 開發(fā)計(jì)算平臺(tái)在算力和存儲(chǔ)上做了許多技術(shù)突破。在底層，平臺(tái)能夠進(jìn)一步對(duì) GPU 算力進(jìn)行整體調(diào)度和統(tǒng)籌，提高對(duì)平臺(tái)的底層資源使用的調(diào)度效率。

　　根據(jù)京東云方面的分享，算力方面京東云將在平臺(tái)中提供第五代的云主機(jī)，各種高性能的產(chǎn)品形態(tài)，可以提供算力最大可以支持?jǐn)?shù)十萬(wàn)的 GPU 節(jié)點(diǎn)規(guī)模。網(wǎng)絡(luò)層面則通過自研 RDMA 擁塞算法，全局調(diào)控 RDMA 網(wǎng)絡(luò)流量路徑，不同 GPU 節(jié)點(diǎn)最大支持3.2Tbps RDMA 網(wǎng)絡(luò)帶寬，傳輸時(shí)延低至2us 左右作為基礎(chǔ)能力支撐。

　　在存儲(chǔ)方面，針對(duì)大模型訓(xùn)練數(shù)據(jù)吞吐量大的情況，京東云的云海分布式存儲(chǔ)，能夠支持大模型海量數(shù)據(jù)高并發(fā)集群要求，可以做到千萬(wàn)級(jí) IOPS，延遲低至百微秒。配合新的存算分離的架構(gòu)，云海可為客戶節(jié)省整體基礎(chǔ)設(shè)施成本超30%，現(xiàn)已在高性能計(jì)算、AI 訓(xùn)練等新興場(chǎng)景以及音視頻存儲(chǔ)、數(shù)據(jù)報(bào)表等傳統(tǒng)場(chǎng)景廣泛應(yīng)用。

　　除了能夠優(yōu)化底層資源，言犀 AI 計(jì)算平臺(tái)能夠幫助大模型開發(fā)者提高全鏈路效率提高，高效實(shí)現(xiàn)數(shù)據(jù)處理、模型開發(fā)、訓(xùn)練、部署、評(píng)測(cè)以及訓(xùn)練推理優(yōu)化、模型安全等工作:

　　在數(shù)據(jù)管理環(huán)節(jié)，言犀能夠通過智能標(biāo)注模型、數(shù)據(jù)增強(qiáng)模型、數(shù)據(jù)轉(zhuǎn)換工具集，幫助模型開發(fā)者實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入、清洗、標(biāo)注以及增強(qiáng)所有環(huán)節(jié)，支持多種文件格式的數(shù)據(jù)導(dǎo)入和智能解析、提供自動(dòng)、半自動(dòng)的數(shù)據(jù)標(biāo)注能力。幫助解決數(shù)據(jù)環(huán)節(jié)存儲(chǔ)分散、數(shù)據(jù)格式不一、數(shù)據(jù)質(zhì)量參差不齊、人工標(biāo)注數(shù)據(jù)效率低等問題。

　　在分布式訓(xùn)練環(huán)節(jié)，言犀平臺(tái)適配國(guó)產(chǎn)硬件，支持 HPC，集成高性能文件系統(tǒng);提供資源的分配調(diào)度策略，保證硬件資源被充分利用;提供統(tǒng)一的交互接口，簡(jiǎn)化訓(xùn)練任務(wù)的管理。幫助解決網(wǎng)絡(luò)和算法的復(fù)雜度快速增長(zhǎng)，帶來計(jì)算資源的稀缺和浪費(fèi);HPC、高性能計(jì)算、高性能文件系統(tǒng)、異構(gòu)硬件的使用和適配困難;模型訓(xùn)練的多樣性，訓(xùn)練學(xué)習(xí)成本提高等問題。

　　無代碼開發(fā)能力方面，則進(jìn)一步簡(jiǎn)化產(chǎn)大模型開發(fā)過程。用戶能夠直接選擇平臺(tái)內(nèi)置的大模型，上傳數(shù)據(jù)后，之后繼續(xù)選擇訓(xùn)練方式，指定超參和 AutoML 兩種無代碼訓(xùn)練方式之一后，得到一個(gè)微調(diào)模型或者應(yīng)用。

　　在應(yīng)用層，言犀平臺(tái)內(nèi)置了問答開發(fā)、文檔分析開發(fā)、插件開發(fā)等常用應(yīng)用場(chǎng)景的無代碼開發(fā)工具。選擇模型、知識(shí)庫(kù)、Prompt 模版以及開發(fā)平臺(tái)后，一鍵部署。并且能夠支持監(jiān)控、追蹤測(cè)試以及測(cè)試評(píng)估。

　　整體上，言犀 AI 開發(fā)計(jì)算平臺(tái)能夠滿足不同專業(yè)程度的用戶的使用需求。對(duì)于大模型算法開發(fā)者來說，能夠全流程支持從數(shù)據(jù)準(zhǔn)備、選擇模型、代碼調(diào)優(yōu)、部署發(fā)布等工作。對(duì)于應(yīng)用層開發(fā)者，能夠利用無代碼的方式，可視化點(diǎn)按選擇模型、上傳數(shù)據(jù)、配置參數(shù)，無需寫代碼即可實(shí)現(xiàn)任務(wù)引發(fā)，開始模型任務(wù)的訓(xùn)練，進(jìn)而降低門檻。

　　在引入模型方面，目前平臺(tái)已經(jīng)內(nèi)置了言犀、星火、LLama2等商業(yè)模型以及開源模型。龔義成表示，言犀對(duì)模型的選擇思路更傾向于重視質(zhì)量多過數(shù)量:選擇各個(gè)技術(shù)領(lǐng)域相對(duì)優(yōu)秀的商業(yè)模型，以及一些圍繞基礎(chǔ)模型打造的行業(yè)模型，避免用戶陷入選擇焦慮。

　　并且，之后言犀將重點(diǎn)引入京東基于基礎(chǔ)模型打造的行業(yè)模型應(yīng)用，如零售、健康場(chǎng)景以及在實(shí)際上已經(jīng)實(shí)現(xiàn)規(guī)模化落地的行業(yè)應(yīng)用模型放到平臺(tái)上，幫助平臺(tái)的開發(fā)者來推進(jìn)相關(guān)業(yè)務(wù)的落地。

　　目前言犀共有三種方式交付方式:一是 MaaS 服務(wù)形式，開發(fā)者開發(fā)者可以通過 API 采用按量付費(fèi)、成本經(jīng)濟(jì)的方式探索和使用大模型;二是，公有云 SaaS 版，用戶可以通過平臺(tái)提供的一站式模型開發(fā)、訓(xùn)練和部署的能力，基于公有云資源彈性供應(yīng)的優(yōu)勢(shì)，以最小化的成本啟動(dòng)產(chǎn)業(yè)大模型的開發(fā)和部署。三是私有化交付版本，滿足對(duì)數(shù)據(jù)安全有更多特殊要求的客戶，數(shù)據(jù)完全本地化。

　　未來，言犀還將繼續(xù)升級(jí)平臺(tái)能力，在國(guó)產(chǎn)硬件覆蓋、模型生態(tài)合作、插件開發(fā)、應(yīng)用評(píng)測(cè)服務(wù)、一體機(jī)交付、Agent 開發(fā)服務(wù)等方面繼續(xù)完善，體系化地幫助解決產(chǎn)業(yè)大模型的開發(fā)和實(shí)施困難、大模型應(yīng)用的開發(fā)困難、模型訓(xùn)練推理成本昂貴、模型和應(yīng)用獲取困難、高性能計(jì)算、高性能文件、異構(gòu)硬件的使用和適配困難等問題。

　　推動(dòng)大模型在千行百業(yè)落地

　　在西安城市大會(huì)上，京東集團(tuán)技術(shù)委員會(huì)主席、京東云事業(yè)部總裁曹鵬在演講中提到，在大模型逐漸向產(chǎn)業(yè)落地的過程中，希望做到提升更好的產(chǎn)業(yè)效率、產(chǎn)生更大的產(chǎn)業(yè)價(jià)值、能夠在更多的場(chǎng)景里復(fù)制，實(shí)質(zhì)上是對(duì)模型的訓(xùn)練過程以及基礎(chǔ)設(shè)施提出了更高的要求:模型需要更加易用、要做到更低門檻更低成本、并且可以靈活調(diào)用算力。

　　AI 開發(fā)計(jì)算平臺(tái)是解決這些問題的重要方案之一，一個(gè)高性能且易用的 AI 開發(fā)計(jì)算平臺(tái)能夠讓更多行業(yè)方低成本地參與到大模型行業(yè)建設(shè)當(dāng)中來，激發(fā)更多產(chǎn)業(yè)大模型的出現(xiàn)，加速大模型在千行百業(yè)的落地。

　　在實(shí)際的市場(chǎng)中，龔義成稱，行業(yè)客戶在選擇 AI 計(jì)算平臺(tái)時(shí)，主要會(huì)考慮的亮點(diǎn)分別是:行業(yè)理解以及平臺(tái)效率。相比于其他 AI 計(jì)算平臺(tái)，言犀 AI 開發(fā)計(jì)算平臺(tái)除了能夠提高極致的性能，還能夠結(jié)合京東長(zhǎng)期以來在零售、金融、物流、健康等優(yōu)勢(shì)場(chǎng)景的經(jīng)驗(yàn)，擁有更專業(yè)的產(chǎn)業(yè)大模型選擇。

　　在言犀 AI 計(jì)算平臺(tái)的模型生態(tài)中，除了內(nèi)置優(yōu)秀商業(yè)模型和開源模型，為了進(jìn)一步降低門檻，言犀 AI 計(jì)算平臺(tái)還會(huì)為這些大模型補(bǔ)充進(jìn)一步的增強(qiáng)能力，比如中文能力、數(shù)學(xué)能力等等，讓用戶能夠選擇更易用專業(yè)的大模型。

　　更重要的是，由于言犀 AI 開發(fā)計(jì)算平臺(tái)同時(shí)面向大模型應(yīng)用開發(fā)者，支持無代碼的方式構(gòu)建專有模型，除了上述基礎(chǔ)模型外，在言犀平臺(tái)還將為用戶提供更多應(yīng)用場(chǎng)景的專有模型，供用戶快速在自己的行業(yè)落地。

　　目前，言犀平臺(tái)所提供的應(yīng)用場(chǎng)景專有模型主要包括問答開發(fā)以及文檔分析開發(fā)等成熟高頻場(chǎng)景。這些應(yīng)用京東在自身的優(yōu)勢(shì)領(lǐng)域已被多次驗(yàn)證，結(jié)合大模型能夠快速提升效率。

　　以對(duì)話工具為例，2021年起，名創(chuàng)優(yōu)品和京東云達(dá)成合作，將京東云旗下言犀在客戶服務(wù)方面的系列技術(shù)產(chǎn)品應(yīng)用在名創(chuàng)優(yōu)品，涵蓋名創(chuàng)優(yōu)品門店客服團(tuán)隊(duì)、用戶運(yùn)營(yíng)團(tuán)隊(duì)、IT 服務(wù)運(yùn)維團(tuán)隊(duì)。2022年4月，言犀系列產(chǎn)品陸續(xù)上線，包含了在線客服機(jī)器人、語(yǔ)音應(yīng)答機(jī)器人、語(yǔ)音外呼機(jī)器人、智能質(zhì)檢、智能知識(shí)庫(kù)等一系列智能化產(chǎn)品，帶來了顯著的成效。

　　反饋數(shù)據(jù)顯示，目前言犀系列產(chǎn)品日均咨詢服務(wù)量近10000次，其中在線客服機(jī)器人應(yīng)答準(zhǔn)確率超過97%，獨(dú)立接待率超過70%，降低40% 的服務(wù)成本;語(yǔ)音應(yīng)答機(jī)器人應(yīng)答準(zhǔn)確率超過93%，獨(dú)立處理了46。1% 的客戶問題;智能質(zhì)檢累計(jì)完成數(shù)十萬(wàn)次，發(fā)現(xiàn)并處理近3000服務(wù)風(fēng)險(xiǎn)問題，用戶滿意度提升20%;智能知識(shí)庫(kù)內(nèi)容涵蓋了「名創(chuàng)優(yōu)品」品牌下約8800個(gè)核心 SKU，以及「TOP TOY」品牌下約4600個(gè) SKU。

　　在大模型的落地實(shí)踐進(jìn)程已經(jīng)到了從單點(diǎn)向外普及的階段。在產(chǎn)業(yè)中，還有許多類似名創(chuàng)優(yōu)品的產(chǎn)業(yè)公司，對(duì)話機(jī)器人場(chǎng)景能夠?yàn)樗麄儙砀蟮膬r(jià)值。而言犀 AI 開發(fā)計(jì)算平臺(tái)的推出，從底層算力、數(shù)據(jù)管理、無代碼應(yīng)用等全鏈路對(duì)產(chǎn)業(yè)公司的賦能，將為這些公司提供一個(gè)更更低門檻更低成本、更短訓(xùn)練周期的大模型產(chǎn)業(yè)化方案。可以預(yù)見，之后類似名創(chuàng)優(yōu)品的案例將會(huì)出現(xiàn)得更加頻繁。

　　此外，京東云方面強(qiáng)調(diào)，相較于其他其他競(jìng)品，京東言犀 AI 計(jì)算平臺(tái)采用的低代碼方面進(jìn)一步拉低了應(yīng)用開發(fā)者的開發(fā)門檻，且高性能存儲(chǔ)方面完全自主、整體技術(shù)體系完整適配度高且性能效率高。

　　隨著新型數(shù)字基礎(chǔ)設(shè)施的普及，大模型在千行百業(yè)的落地將變得更加快速，成本效率與創(chuàng)新的不可能三角將擁有更開闊的想象空間。