騰訊混元團隊宣布推出四款開源的小尺寸模型,參數分別為0.5B、1.8B、4B和7B。這些模型專為消費級顯卡設計,適用于筆記本電腦、手機、智能座艙、智能家居等低功耗場景,并支持垂直領域的低成本微調。這一舉措進一步豐富了混元開源模型體系,為開發者和企業提供了更多尺寸的模型選擇。
這四款模型的推出是騰訊混元大模型持續開源的一部分,旨在為開發者和企業提供更多選擇,以滿足不同場景下的需求。目前,這些模型已在Github和HuggingFace等開源社區上線,并得到了Arm、高通、Intel、聯發科技等多個消費級終端芯片平臺的支持。
新開源的四個模型屬于融合推理模型,具備推理速度快、性價比高的特點。用戶可以根據使用場景靈活選擇模型的思考模式:快思考模式提供簡潔、高效的輸出,適合簡單任務;慢思考模式則涉及解決復雜問題,具備更全面的推理步驟。在效果上,這些模型在語言理解、數學、推理等領域表現出色,在多個公開測試集上得分達到了領先水平。

這四個模型的亮點在于其agent能力和長文處理能力。通過精心的數據構建和強化學習獎勵信號設計,這些模型在任務規劃、工具調用和復雜決策以及反思等agent能力上表現出色,能夠輕松勝任深度搜索、Excel操作、旅行攻略規劃等任務。此外,模型原生長上下文窗口達到了256k,意味著模型可以一次性記住并處理相當于40萬中文漢字或50萬英文單詞的超長內容,相當于一口氣讀完3本《哈利波特》小說,并且能記住所有人物關系和劇情細節,還能根據這些內容討論后續故事發展。
在部署方面,這四個模型均只需單卡即可部署,部分PC、手機、平板等設備可直接接入。模型具有較強的開放性,主流推理框架(例如,SGLang,vLLM和TensorRT-LLM)和多種量化格式均能夠支持。
應用層面,這四款小尺寸模型能夠滿足從端側到云端、從通用到專業的多樣化需求,并且已經在騰訊多個業務中應用,其可用性和實用性經過了實踐的檢驗。例如,依托模型原生的超長上下文能力,騰訊會議AI小助手、微信讀書AI問書AI助手均實現對完整會議內容、整本書籍的一次性理解和處理。在端側應用上,騰訊手機管家利用小尺寸模型提升垃圾短信識別準確率,實現毫秒級攔截,隱私零上傳;騰訊智能座艙助手通過雙模型協作架構解決車載環境痛點,充分發揮模型低功耗、高效推理的特性。


產品與服務
聯系站長
關于我們