AI初創公司Galileo推新工具，可解釋AI大模型的幻覺現象

　　在人工智能領域，特定生成型人工智能模型(LLMs)產生幻覺現象的問題一直令人困惑。然而，舊金山的AI初創公司Galileo正在努力解決這一問題，并為用戶提供了一系列新的監測和指標功能，以幫助他們更好地理解和解釋LLMs的輸出。

　　Galileo Studio是該公司旗下的工具，最新更新使用戶不僅可以評估輸入和上下文，還可以實時觀察輸出。這些新的監測功能使Galileo能夠更好地解釋為什么模型會產生特定的輸出，并提供新的指標和防護措施來優化LLMs的性能。

　　Galileo的聯合創始人兼CEO Vikram Chatterji在接受VentureBeat的獨家采訪中表示:“最近幾個月的真正新功能是我們添加了實時監測，因為現在您實際上可以觀察到出了什么問題。這已經成為一個端到端的產品，用于不斷改進大型語言模型應用。”

　　LLMs通常依賴于應用程序向LLM發出API調用以獲取響應。Galileo攔截了這些API調用，包括輸入和生成的輸出。通過攔截這些數據，Galileo能夠向用戶提供關于模型性能以及輸出準確性的準實時信息。

　　當我們討論生成的AI輸出的事實準確性時，通常會涉及到幻覺現象，即生成了與事實不符的輸出。Chatterji解釋說，LLM實際上是在嘗試預測下一個單詞應該是什么，但它還有關于下一個備選單詞的想法，并為所有這些不同的標記或不同的單詞分配概率。

　　Galileo通過與模型本身連接，使其能夠準確了解這些概率，然后提供額外的指標來更好地解釋模型輸出并理解為什么會出現特定的幻覺現象。通過提供這些見解，Galileo的目標是幫助開發人員更好地調整模型和微調以獲得最佳結果。

　　除了幻覺問題，LLM基礎應用程序提供的響應可能會引發一些問題，如不準確、不當的語言或機密信息泄露。為了解決這些問題，Galileo Studio還引入了新的"防護措施"指標。對于AI模型，防護措施是關于模型可以生成的信息、語氣和語言的限制。

　　對于金融服務和醫療保健等領域的組織來說，存在與信息披露和語言使用相關的監管合規性問題。通過防護措施指標，Galileo用戶可以設置自己的防護措施，然后監控和測量模型輸出，以確保LLMs不會偏離正軌。

　　此外，Galileo還跟蹤一項被稱為"接地性"的指標，用于確定模型的輸出是否符合其提供的訓練數據的范圍。如果一個模型在抵押貸款文件上進行訓練，但提供了與這些文件完全無關的答案，Galileo可以通過接地性指標檢測到這一情況。這使用戶可以知道響應是否與模型的訓練背景相關。

　　Galileo為用戶提供了一套全面的指標，使他們能夠更好地理解模型的輸出并解釋其真實性。這些指標不僅有助于發現幻覺現象，還以可視化的方式解釋了模型在每個單詞基礎上的困惑，有助于開發人員優化模型以獲得最佳結果。同時，通過防護措施和接地性指標，Galileo還幫助開發人員確保LLMs的輸出不會引發問題，如不準確或不合規的響應。