港大開源圖基礎大模型OpenGraph 增強圖學習泛化能力

　　香港大學數據智能實驗室主任黃超團隊開發了一款名為OpenGraph的圖基礎大模型，專注于在多種圖數據集上進行零樣本預測。該模型通過學習通用的圖結構模式，僅通過前向傳播即可對全新數據進行預測，有效緩解了圖學習領域的數據饑荒問題。

　　關鍵特點:

　　強泛化能力:OpenGraph 旨在通過圖結構模式學習，實現對未見數據的零樣本預測。

　　提示調整技術:團隊提出的提示調整技術提高了模型對新任務的適應性。

　　GitHub 開源:該工作已在 GitHub 上開源，供學術界和工業界使用和研究。

　　數據集間 token 差異解決:模型能夠跨不同圖數據集進行預測，解決了數據集間 token 差異的問題。

　　節點關系建模:在構建通用圖模型時，有效建模節點關系，對模型的擴展性和效率至關重要。

　　數據稀缺問題的解決:通過大型語言模型進行數據增強，模擬復雜的圖結構關系，提升模型訓練質量。

　　模型架構:OpenGraph 模型由統一圖 Tokenizer、可擴展的圖 Transformer 和基于大語言模型的知識蒸餾技術三個核心部分組成。

　　實驗驗證:在多樣化的真實場景數據集上進行測試，涵蓋節點分類和鏈接預測任務，OpenGraph 在零樣本預測中表現優異。

　　未來工作:團隊計劃增加框架的自動化能力，自動識別噪聲連接，進行反事實學習，并提取圖結構的通用模式，以推動模型的應用范圍和效果。

　　研究結論:

　　OpenGraph 作為圖基礎模型構建的初步嘗試，通過在多個標準數據集上的廣泛測試，證明了其出色的泛化性能。研究人員希望借助 OpenGraph 顯著增強模型在零樣本圖學習任務中的泛化能力，并探索多種下游應用。