超GPT-4o，1240億參數！最強開源多模態模型 Pixtral Large！

　　今天凌晨，法國著名開源大模型平臺Mistral.ai，開源了超大多模態模型——PixtralLarge。

　　PixtralLarge有1240億參數，支持128K上下文，能理解文本、圖表、圖像等，也是Mistral.ai自家聊天助手 le Chat目前正在使用的視覺模型。支持中文、法文、英文等十多種主流語言。

　　根據測試數據顯示，Pixtral Large在MMMU、MathVista、ChartQA、DocVQA、VQAv2等基準測試的數據，超過了GPT-4o、Gemini-1.5Pro、Claude-3.5Sonnet、Llama-3.290B，成為目前最強的開源多模態模型。

　　同時，Mistral.ai還發布了一個免費的支持PDF理解、網絡搜索、Canvas、AI Agent、圖片生成的多模態AI助手——le Chat。

　　Pixtral Large簡單介紹

　　Pixtral Large是基于Mistral Large2開發而成，有1230億參數多模態解碼器和10億參數視覺編碼器。

　　多模態解碼器是Pixtral Large的核心，主要負責整合和處理來自視覺編碼器的圖像信息以及文本數據。這個龐大的參數量使得解碼器能夠捕捉到復雜的模式和關系，無論是在文本中的長距離依賴還是在圖像中的細節，實現高質量的圖像描述、視覺問答和文檔理解等。

　　而10億參數的視覺編碼器則是Pixtral Large處理圖像數據的關鍵。這個編碼器專門設計用于將圖像轉換為模型可以理解的高維特征表示。

　　通過這種方式，Pixtral Large能夠理解圖像中的視覺元素，并將這些信息與文本數據結合起來，以產生更豐富的上下文理解和更準確的任務執行。

　　在技術層面，Pixtral Large的視覺編碼器采用了先進的變換器架構，能夠有效地處理不同分辨率和寬高比的圖像。這種靈活性對于處理現實世界中的圖像至關重要，因為這些圖像的尺寸和形狀千差萬別。此外，視覺編碼器還采用了自注意力機制，模型能夠在處理圖像時考慮到全局上下文，而不僅僅是局部特征。

　　Pixtral Large的多模態解碼器則進一步將這些視覺特征與文本信息結合起來。通過這種方式，模型不僅能夠理解圖像中的內容，還能夠理解這些內容如何與文本數據相互作用和關聯，它允許模型在處理多模態輸入時動態地調整其關注點。

　　此外，Pixtral Large還采用了一種新穎的序列打包技術，這使得模型能夠在單個批次中高效地處理多張圖像。通過構建塊對角掩碼來確保不同圖像之間的特征不會相互干擾，從而提高了模型處理多圖像數據的效率和準確性。

　　在長上下文窗口方面，Pixtral Large擁有128K的上下文窗口，這使得模型能夠處理大量的文本和圖像數據。這對于理解和總結長篇文檔或處理包含多個圖像的復雜場景至關重要。長上下文窗口確保了模型能夠在處理這些復雜任務時保持信息的連貫性和完整性

　　le Chat介紹

　　今天凌晨，Mistral.ai還對他們的類ChatGPT助手le Chat進行了重磅更新。

　　在這次更新中，Le Chat引入了網絡搜索和引用功能，用戶可以直接在聊天界面中搜索互聯網上的最新信息，并獲取帶有引用鏈接的答案。對于學生和專業人士來說非常有幫助，可以在準備研究報告或學術論文時，快速準確地獲取資料和數據。

　　Le Chat還推出了一個全新的Canvas功能，支持想法的構思允許內聯編輯和導出，極大地提高了創意工作的效率。用戶可以在Canvas上進行頭腦風暴、編輯內容，并將其導出為各種格式，方便進一步使用。

　　現在Le Chat也能夠處理大型、復雜的PDF文檔和圖像，得益于最新的多模態模型Pixtral Large，能夠分析和總結文檔中的圖表、表格、圖示、文本、公式和方程等內容。例如，它可以輕松解析著名的量子糾纏論文，展示出信息提取、總結和語義理解的強大能力。

　　Le Chat還與Black Forest Labs合作，整合了領先的圖像生成技術Flux Pro，使用戶可以直接在Le Chat中生成高質量的圖像。這一功能特別適用于創意設計和營銷領域，用戶可以快速生成符合需求的圖像，提高工作效率。

　　此外，Le Chat還提供了AI Agent功能。用戶可以將特定類型的工作流程編碼為 Agent，然后發布并與團隊成員共享，實現更高效的工作流管理和自動化操作。常見的使用場景包括收據掃描、費用報告、會議紀要的總結和發票處理等。

　　在性能提升方面，Le Chat通過投機性編輯技術，顯著提高了響應速度，用戶可以更快地獲得高質量的回答和建議，提高了整體的工作效率。同時，Le Chat提供了一個從模型到輸出的完全集成平臺，用戶可以在一個平臺上完成所有的多模態任務，無需在多個工具之間切換，簡化了工作流程。