8月31日消息,美團正式開源了自主研發的大語言模型LongCat-Flash,參數規模達到5600億,采用混合專家(MoE)架構,激活參數動態計算。美團選擇以MIT協議開源LongCat-Flash,模型代碼已部署在Hugging Face和GitHub平臺。開源版本支持SGLang和vLLM框架部署,提供基礎適配文檔,降低了企業級應用門檻。

據網經社云計算臺(CC.100EC.CN)了解,,LongCat-Flash的核心創新在于“動態計算”技術。傳統MoE模型通常固定激活一定比例的專家參數,而LongCat-Flash通過自適應算法,根據輸入內容的復雜度動態調整激活參數數量。例如,在處理簡單任務時,僅激活186億參數;而在處理復雜推理任務時,最多可激活313億參數,平均激活規模為270億。
LongCat-Flash還采用了Shortcut-connected MoE (ScMoE)設計,擴大了計算-通信重疊窗口。結合定制化基礎設施優化,這個設計讓模型能在數萬個加速器上訓練,推理速度超過每秒100個token。


產品與服務
聯系站長
關于我們