Stability AI發布30億參數語言模型StableLM Zephyr 3B 更小更快更節省資源

　　Stability AI以其stable diffusion文本到圖像的生成人工智能模型而聞名，但這已不再是該公司的全部業務。

　　最新發布的StableLM Zephyr3B是一款30億參數的大語言模型，專為聊天應用場景進行了優化，包括文本生成、摘要和內容個性化。這款新模型是Stability AI早在今年四月首次提及的StableLM文本生成模型的較小、優化版本。

　　StableLM Zephyr3B的承諾在于，它比7B的StableLM模型更小，帶來了一系列好處。由于體積更小，它可以在更廣泛的硬件上部署，占用更低的資源，同時仍然提供快速響應。該模型經過優化，特別適用于問答和指令跟隨類型的任務。

　　Stability AI首席執行官Emad Mostaque表示:“相對于以前的模型，StableLM經過更長時間、更高質量數據的訓練，例如與LLaMA v27b相比，盡管體積只有其40%，但在基礎性能上卻能夠匹配。”

　　StableLM Zephyr3B并非全新模型，而是Stability AI定義的現有StableLM3B-4e1t模型的擴展。Zephyr的設計方法受到HuggingFace的Zephyr7B模型的啟發。HuggingFace的Zephyr模型是在開源MIT許可下開發的，旨在充當助手。Zephyr采用一種稱為Direct Preference Optimization(DPO)的訓練方法，StableLM現在也受益于這一方法。

　　Mostaque解釋說，Direct Preference Optimization(DPO)是一種替代以前模型中使用的強化學習的方法，用于調整模型以符合人類偏好。DPO通常用于更大的70億參數模型，而StableLM Zephyr是首批在更小的30億參數大小中使用該技術的模型之一。

　　Stability AI使用了來自OpenBMB研究組的UltraFeedback數據集進行DPO。UltraFeedback數據集包含超過64，000個提示和256，000個響應。DPO、較小的體積和優化的數據訓練集的組合為StableLM提供了在Stability AI提供的指標中表現出色。例如，在MT Bench評估中，StableLM Zephyr3B能夠勝過包括Meta的Llama-2-70b-chat和Anthropric的Claude-V1在內的更大模型。

　　StableLM Zephyr3B是Stability AI近幾個月推出的一系列新模型之一，該初創公司繼續推動其能力和工具的發展。雖然公司忙于進入不同領域，但新模型并沒有讓Stability AI忘記文本到圖像生成的基礎。上周，Stability AI發布了SDXL Turbo，作為其旗艦SDXL文本到圖像stable diffusion模型的更快版本。

　　Mostaque還明確表示，Stability AI還將推出更多創新。他表示:“我們相信，針對用戶自己的數據進行調整的小型、開放、性能良好的模型將勝過更大的通用模型。隨著我們新的StableLM模型的未來全面發布，我們期待進一步實現生成語言模型的民主化。”