文本生成高精準3D模型，北京智源AI研究院等出品—3D-GPT

　　本文來自于微信公眾號 AIGC開放社區(ID:AIGCOPEN)，作者:AIGC開放社區。

　　北京智源AI研究院、牛津大學、澳大利亞國立大學聯合發布了一項研究—3D-GPT，通過文本問答方式就能創建高精準3D模型。

　　據悉，3D-GPT使用了大語言模型的多任務推理能力，通過任務調度代理、概念化代理和建模代理三大模塊，簡化了3D建模的開發流程實現技術民主化。

　　但3D-GPT與現有的文本生成3D模型方法大有不同，生成過程是可以操控函數進行3D建模，而不是常規的3D神經元表征，同時可與Blender(開源三維軟件)實現無縫集成。這極大提升了模型的靈活性和準確性。

　　隨著Meta提出元宇宙概念后，全球對高保真的3D內容需求激增。然而，傳統的3D建模流程效率低下，設計師需要從基本形狀逐步打造模型，再進行著色、細節處理等工作十分繁瑣，而3D-GPT技術框架可有效解決這一痛點。

　　從論文介紹來看，主要由任務調度代理、概念化代理和建模代理三大塊組成。任務調度代理扮演總指揮的角色，根據文本語言指令確定需要調用的建模函數，會查詢所有可用函數的文檔，選擇最合適的對象。

　　概念化代理用于豐富語言描述的細節，為后續建模做準備。以樹木生成為例，用戶提供的文字可能僅是“碧綠的樹林”，但建模需要更精確的參數如樹枝長度、樹葉類型等。而概念化代理就會自動補充這些細節，輸出豐富的描述以指導建模。

　　建模代理則需要解析概念化代理輸出的語言描述，轉換為具體的代碼和參數，調用相應函數實現建模。

　　以天空渲染為例，輸入文字可能是“湛藍的天空”，建模代理就需要推斷出太陽強度、云層密度等參數，并寫出調用天空渲染函數的代碼，最終輸出逼真的3D天空。

　　建模工具

　　3D-GPT使用了InfiniGen作為基于Python-Blender的過程化生成器。為讓大語言模型能夠高效利用InfiniGen，研究人員為每個函數Fj提供了提示，包括:

　　(1)函數文檔Dj:詳細解釋輸入參數Pj以及函數的目的和功能。

　　(2)易讀代碼Cj:提供容易理解的重構函數代碼。

　　(3)所需信息Ij:概述推理函數參數所需的具體信息，協助理解函數的上下文和先決條件。

　　(4)使用示例Ej:提供示例演示如何從文本描述中推理參數Pj，以及如何調用函數。

　　這些資源使大語言模型可以利用其規劃、推理和工具使用的核心能力，根據語言指令高效地利用InfiniGen進行3D生成。

　　在建模工具搭建好之后，3D-GPT采用了一個多代理協作框架，來處理3D建模流程。

　　任務調度代理在規劃過程中發揮關鍵作用。通過用戶指令查詢函數文檔，然后選擇所需的函數進行執行。

　　選擇函數后，概念化代理進行推理以豐富用戶提供的文本描述。最后，建模代理推斷每個選定函數的參數，并生成Python代碼，調用Blender API接口，促進相應3D內容的創建。

　　任務調度代理與系統的對話示例如下:

　　系統:你是根據用戶指令選擇合適函數的高效規劃者。將被提供以下函數:<(F名稱j，F用法j)>。以下是如何根據用戶指令選擇函數的幾個示例:。

　　用戶:我的指令是:

• 。

   

  　　任務調度代理:根據指令

• ，我們確定了需要用于3D建模的函數子列表ˆF。

   

  　　概念化代理

  　　描述可能不會明確提供建模所需的詳細外觀描述。為緩解這一問題，引入了概念化代理，它與任務調度代理協作以增強用戶提供的文本描述(Li)。對于每個函數Fj，它會將用戶輸入文本和相應的函數專屬信息進行豐富，生成詳細的外觀描述Lij。

  　　系統與概念化代理對話格式如下:

  　　系統:你是專業作家，擅長描述對象的外觀，特別是大型場景。給定描述

• ，請提供以下信息所需的詳細描述。

   

  　　對于描述中未提及的術語，請發揮想象力，以確保它們與文本描述一致。概念化代理:根據

• 和請求的信息，擴展后的描述是:。

   

  　　建模代理

  　　在概念化之后，3D建模處理目標是將詳細的人類語言轉換為機器可理解的語言。

  　　在技術框架中，建模代理通過操作程序建模庫中的函數來創建逼真的3D模型。對于每個函數Fj和用戶指令Li，任務調度代理從概念化代理獲得增強上下文 cLij。

  　　對于每個函數Fj，我們都有代碼Cj，函數文檔Dj和一個用法示例Ej。建模代理利用這些信息選擇適當的函數并推斷出相應的參數。

  　　隨后，建模代理生成準確調用所選函數的Python代碼(例如，在循環中調用它，而不是調用它)，并使用適當的數據類型正確傳遞推斷的參數給函數。

  　　建模代理遵循以下對話模式:

  　　系統:你是一位優秀的3D設計師，能夠將長文本描述轉換為參數，并且擅長理解Python函數來操縱3D內容。給定文本描述，我們有以下函數代碼和函數文檔。

  　　以下是一個關于如何調用函數以使場景符合描述的示例:。理解函數，并通過調用函數建模符合文本描述的3D場景。

  　　建模代理:根據描述，將使用以下函數，并采用各自的參數值。

  　　Blender渲染:建模代理最終提供帶有推斷參數的Python函數調用，這些調用用于Blender節點控制和渲染，從而產生最終的3D網格和RGB結果。

  　　測試數據

  　　研究人員進行了大量實驗，結果表明3D-GPT可以根據不同語言描述生成符合要求的3D場景和對象。具體表現如下:

  　　3D-GPT可以根據簡要描述生成較大的3D場景，場景內容與描述基本一致。對于單一對象，3D-GPT可以準確捕捉其關鍵外觀特征，實現精細的形狀、曲線和屬性控制。

  　　3D-GPT能夠正確理解工具的功能，獲取必要知識，并將其用于精確控制。即使參數與視覺外觀無直接關系，也能準確推理參數值。在多步語言指令的場景中，3D-GPT能夠充分理解每一步指令，并對場景進行準確修改。