Martian的工具可自動切換選擇最優LLM 以降低使用成本

　　AI創業公司Martian近日推出了一項引人注目的AI工具，旨在幫助公司降低使用大型語言模型(LLMs)的成本。

　　該公司由賓夕法尼亞大學的AI研究員Shriyash Upadhyay和Etan Ginsberg創立，他們認為許多大型AI公司在追求競爭力強、強大的AI模型時犧牲了基礎研究。根據他們的觀點，當公司籌集大量資金時，大部分資金通常用于超越競爭對手，而不是用于研究基礎知識。

　　Upadhyay和Ginsberg表示:“在我們在賓夕法尼亞大學對LLMs進行研究時，我們觀察到了AI行業中的這些令人擔憂的趨勢。挑戰在于如何使AI研究變得有利可圖。”

　　為了解決這一問題，他們決定創辦自己的公司，即Martian。該公司的使命是通過可解釋性研究來推動AI研究，而不是專注于能力研究，從而實現更強大的研究成果。

　　Martian最近以900萬美元的資金從NEA、Prosus Ventures、Carya Venture Partners和General Catalyst等投資方處獲得了支持。這筆資金將用于產品開發、模型內部運作研究以及擴大Martian的團隊規模。

　　Martian的首個產品是一款被稱為“模型路由器(model router)”的工具。該工具接收針對大型語言模型(LLM)，比如GPT-4的提示，并根據提示的內容自動將其對接到“最佳”LLM。默認情況下，模型路由器選擇具有最佳穩定性、技能集(例如數學問題解決)和成本性能比的LLM。

　　Upadhyay和Ginsberg解釋說:“公司目前使用LLMs的方式是為每個端點選擇一個單一的LLM，然后將所有請求發送到該端點。但在創建網站等任務中，根據用戶指定的上下文(語言、功能、支付意愿等)，不同的模型將更適合特定請求。通過在應用程序中使用模型團隊，公司可以實現比任何單一LLM單獨使用更高的性能和更低的成本。”

　　這一觀點確有道理，因為僅依賴于高端LLM，如GPT-4，對于一些公司來說可能成本過高。Permutable.ai的首席執行官最近透露，使用OpenAI的高端模型處理每天約200萬篇文章對該公司而言每年的成本超過100萬美元。

　　然而，并非每項任務都需要昂貴模型的性能，但要在運行時智能地構建能夠切換的系統卻可能較為困難。這就是Martian發揮作用的地方，它能夠在實際運行模型之前估算模型的性能。“Martian可以在性能相似的情況下路由到更便宜的模型，并僅在必要時切換到昂貴的模型，”他們補充道，“模型路由器會索引新的模型，將它們無縫地納入應用程序中，無需任何摩擦或手動工作。”

　　盡管Martian的模型路由器并非新技術，至少還有一家名為Credal的初創公司提供了自動切換模型的工具。因此，Martian的成功將取決于其定價的競爭力以及其在高風險商業場景中的交付能力。Upadhyay和Ginsberg聲稱已經有一些“數十億美元”的公司開始采用Martian，表明他們在這一領域取得了一些成功。

　　“構建一個真正有效的模型路由器非常困難，因為它需要對這些模型的基本工作原理有深刻的理解，”他們說，“這是我們開創的突破。”

　　Martian的創新似乎為AI行業帶來了一種新的方法，使公司能夠更智能地選擇語言模型，以在性能和成本之間取得平衡。這對于那些尋求降低AI運營成本的公司來說，可能是一項引人矚目的技術進步。