MIT最新研究：純文本模型也能訓練出視覺表征 用代碼就能作畫

　　最近，MIT計算機科學與人工智能實驗室的研究人員進行了一項有趣的研究，通過評估語言模型的視覺能力，揭示了純文本模型訓練視覺概念表征的新可能性。

　　他們使用代碼而非圖像進行渲染和表示，成功地教會語言模型生成和理解復雜的視覺概念。雖然生成的圖像可能不像自然圖像，但通過模型的自我糾正，研究人員證明了對字符串和文本進行精確建模可以教會語言模型有關視覺世界的多種概念。

　　研究人員構建了三個不同復雜度的文本描述數據集，從簡單的形狀和組合到復雜的場景，評估了模型在生成、識別和修改圖像渲染代碼方面的能力。

　　實驗結果顯示，語言模型在生成由多個物體組成的復雜視覺場景方面表現出色，但在捕捉視覺細節方面有一些局限。通過文本糾錯，研究人員成功地改善了模型的視覺生成能力，為使用純文本模型訓練視覺系統提供了新的思路。

　　研究中的一個關鍵發現是，語言模型在生成代碼方面表現出相當高效的能力，但在識別以代碼表示的視覺概念方面較為困難。與人類相反，模型在生成復雜場景方面表現出色，但在解釋代碼內容上存在難題。通過使用自身生成的自然語言反饋，研究人員成功地通過迭代過程改善了模型的視覺效果。

　　綜合而言，這項研究拓展了我們對語言模型的理解，展示了它們不僅可以理解視覺概念，還能夠通過文本生成和糾錯進行視覺學習。這為未來發展更強大的純文本模型提供了啟示，有望推動語言模型在視覺領域的更廣泛應用。