2025年開年,DeepSeek在國內外大模型行業掀起了地震。除了深度推理模型DeepSeek-R1在回答問題上的表現優異之外,DeepSeek的存在,給國內大模型圈注入了緊張又鮮活的空氣。
其一,憑借技術優勢,DeepSeek一舉進入國際大模型頭部梯隊,這給國內大模型公司看到了彎道超車的可能性。
其二,DeepSeek的訓練成果,打破了算力受限的問題,證明通過算法優化,同樣可以以低算力訓練出高質量的模型。
當算力“卡脖子”的隱憂被放下,兼顧能耗和精度的大模型應該解決哪些問題?在這個層面上,國內大模型公司紛紛交出了各自的答卷。
最近,由中國科學院自動化所孵化的AI企業中科聞歌發布的雅意大模型旗艦版——YAYI-Ultra在破解大模型落地"精度-能耗"困局前給出了自己的答案。
作為覆蓋全球100+模型的權威評測體系,OpenCompass榜單歷來是觀察大模型技術路線的"晴雨表",在其近日發布的OpenCompass大模型公開學術榜單中,中科聞歌YAYI-Ultra,以64.5分首次闖入前十,成為TOP10中五個中國大模型之一。
在OpenCompass最新大語言模型公開學術實時榜單中,YAYI-Ultra排名綜合得分64.5,排名第十,其中:
代碼生成:LiveCodeBench排名第五,表現優于GPT-4o-20241120版本
復雜指令理解:IFEval排名第九
知識推理能力:MMLU-Pro排名第九
在側重中文理解的C-Eval評測中,YAYI-Ultra在允許自主驗證的公開訪問榜單位列第二,展現了在中文場景下的技術優勢。一手實測:超長文輸出復雜任務規劃精準拿捏
根據官方信息,YAYI-Ultra在圖表理解、復雜任務、長文理解與生成方面表現突出,我們立馬上手從六個維度(多模態圖表深度理解、復雜圖像理解、復雜任務智能規劃(Function Call)、數據統計分析及超長文本理解與生成)實測下YAYI-Ultra表現到底如何。
01 視覺理解再升級:懂語言,更懂圖表
上來我們先來讀個圖表試試。
prompt:2000年前后,哪個價格區間的物業費占比變化最多?
YAYI-Ultra可以準確識別柱狀圖中的不同顏色和數字,充分理解圖表并給出回答。
除了中文場景外,在多語言場景中,YAYI-Ultra也能夠準確理解并遵循用戶指令,提供跨語言的精準回復。
prompt:How did the distribution of agriculture-related employment change between 2012 and 2022? Did it increase or decrease, and by what percentage or amount? Answer in Chinese。
可以看到,在視覺理解方面,針對跨語言多模態對齊、多圖推理、可變分辨率等技術難點,YAYI-Ultra全面升級,增強了模型在跨語言圖表理解、多圖表問答、多模態指令遵循等方面的能力,不僅能輕松應對堆積條形圖、散點圖、混合圖表等復雜圖表場景,在圖表重繪、圖表轉換等任務上也表現突出。
02 表格智解:萬千表格不在話下
在工作中,復雜報告統計費時又費力,我們“喂”給YAYI-Ultra一張包含行業普通報告、行業深度報告、公司普通報告三種類型交替出現的表格,YAYI-Ultra準確統計出不同類型報告的數量。
prompt:每種報告類型的數量是多少?
當涉及不規則表格時,YAYI-Ultra依然能夠精準解析并提取關鍵數據。以下表格包含總分結構及復雜數據表述,YAYI-Ultra能夠準確理解表格中的模型類型、方法及局部性指標變化數值,并完成對比分析。
prompt:哪個基座模型使用IKE方法后局部性下降最多?
在統計數據理解方面,可以看出YAYI-Ultra重點增強了表格問答中復雜排版理解、跨語言問答等能力。
從金融報告、學術論文,到包含嵌套結構的復雜表格,YAYI-Ultra都能精準定位信息、理解用戶意圖;同時,模型也能夠在跨語言表格問答場景中,提供高效、清晰的解答。
03 Function Call:復雜任務智能規劃
繼續上難度,我們讓YAYI-Ultra繪制一下去年奧運會中國隊金、銀、銅獎牌數量折線圖(隨時間變化)。
首先可以看到,YAYI-Ultra準確理解了用戶意圖,確定“去年奧運會”指的是巴黎奧運會,并制定出詳細的任務規劃;接下來,模型通過搜索引擎獲取巴黎奧運會中國隊金、銀、銅牌相關數據(包括91枚獎牌的類型及獲得時間);再將這些獎牌數據進行梳理,歸類分組、按時排序,并生成代碼,通過調用代碼解釋器,完成折線圖繪制。
YAYI-Ultra之所以能夠完成這一系列的復雜任務拆解與規劃,離不開其增加的工具調用能力,主要包含搜索引擎、代碼解釋器、圖像解析、天氣等基礎工具;新聞熱榜追蹤、傳播影響力分析等特色垂直領域工具。
模型顯著增強了在多工具串行調用場景下的規劃合理性,同時提升了復雜搜索場景下的信息收集能力。
04 多模態輸出:圖文并茂,直觀簡潔
在文獻閱讀或者信息收集過程中,我們通常需要從多篇文檔中查找、分析特定信息(如數值變化、實驗結果等),現在一句話就能找到想要的內容,并且YAYI-Ultra在文字分析描述的基礎上,可同步給出對應的圖片內容。
比如,提問:The percentage of different behaviors under different collaborative strategies
YAYI-Ultra根據問題,從用戶構建的“人工智能論文知識庫”中識別相關的多篇人工智能論文,并據此進行回答。答案中不僅有文字,還在對應的引用位置給出了原始圖片,大大提升了閱讀體驗及答案可靠性。
05 全棧長文:吞吐萬言,下筆如神
最讓人眼前一亮的要屬超長文輸出,YAYI-Ultra支持最長20萬字輸入和10萬字超長輸出,形成從“輸入理解”到“內容創作”的全鏈路長文本能力閉環。
YAYI-Ultra支持聯網智能創作與文獻錨定創作雙模式,并將長文寫作任務拆解為更小、更可控的子任務(先生成大綱,再根據大綱生成全文),這樣有效保證了文本結構,提升長文生成質量。
●聯網智能創作:聯網收集信息完成創作
prompt:寫一篇30000字的中國儒家文化發展歷史分析報告
●文獻錨定創作:劃定知識邊界精準寫作
prompt:請根據參考資料寫一篇長文,寫作的主題是“通用人工智能解決方案:創新與效率的完美結合”
06 數據分析:精準求解,可視交互
最后,我們也針對基礎的數據分析和可視化圖表繪制進行了實測,YAYI-Ultra準確完成分析、計算和圖表繪制任務。
prompt:根據表格,計算人均月收入,然后計算月收入與人均月收入的差值,繪制一個柱形圖,橫軸是名字,縱軸是差值,標題是“每人收入與平均值差距”。
YAYI-Ultra根據用戶要求,通過Python of Thought(POT)能力,生成Python代碼并執行,精準完成了統計推斷、矩陣運算、數值優化等數值密集型任務。


產品與服務
聯系站長
關于我們