認識 Mini-DALLE3：Mini-DALLE3：通過提示大語言模型實現交互式文本到圖像生成方法

　　人工智能內容生成領域取得了飛速的發展，尤其是在文本到圖像模型方面，為生成高質量、多樣性和創意豐富的AI生成內容開辟了新時代。然而，與這些先進的文本到圖像模型進行有效的自然語言交流一直是一個重要挑戰，因為這需要用戶具備對提示工程的專業知識。

　　目前，文本到圖像(T2I)模型的最新方法，如Stable Diffusion，在從文本提示生成高質量圖像方面取得了顯著的進展。然而，它們要求用戶創建復雜的提示，包括詞組、魔術標簽和注釋，這限制了這些模型的用戶友好性。

　　此外，現有的T2I模型在理解自然語言方面仍存在局限，導致用戶需要掌握模型的特定語言風格才能進行有效交流。此外，T2I管道中的文本和數值配置繁多，包括詞語權重、負面提示和風格關鍵詞，這對非專業用戶來說可能很復雜。

　　為了解決這些限制，中國的一個研究團隊最近發表了一篇新論文，介紹了一種名為“互動文本到圖像”(iT2I)的全新方法。這種方法允許用戶與大型語言模型(LLMs)進行多輪對話，使他們能夠逐步規定圖像需求、提供反饋，并使用自然語言提出建議。

　　iT2I方法利用提示技術和現成的T2I模型，以增強LLMs的圖像生成和優化能力。它通過消除復雜提示和配置的需求，顯著提高了用戶友好性，使非專業用戶也能夠使用這些模型。

　　iT2I方法的主要貢獻包括引入了交互式文本到圖像(iT2I)作為一種創新方法，它允許用戶與AI代理進行多輪對話，進行互動圖像生成。iT2I確保了圖像的一致性，提供了與語言模型的可組合性，支持各種圖像生成、編輯、選擇和優化的指令。

　　該論文還提出了一種增強語言模型用于iT2I的方法，突出了其在內容生成、設計和互動敘事應用中的多功能性，從而最終改善了從文本描述生成圖像的用戶體驗。此外，所提出的技術可以輕松集成到現有的LLMs中。

　　為了評估這種方法，作者進行了實驗，評估了其對LLMs能力的影響，比較了不同的LLMs，并為各種場景提供了實際的iT2I示例。實驗考慮了iT2I提示對LLMs能力的影響，并證明它僅具有輕微的影響。商業LLMs成功生成了與文本響應相對應的圖像，而開源LLMs顯示出不同程度的成功。實際示例展示了單輪和多輪圖像生成以及交替的文本-圖像敘事，突出了系統的能力。

　　簡單的說，該方法允許用戶與AI代理進行多輪對話，從而使圖像生成更加用戶友好。iT2I增強了語言模型，確保圖像的一致性，并支持各種指令。實驗結果顯示，對語言模型性能的影響很小，使iT2I成為人工智能內容生成領域的一項有前途的創新。

　　Mini-DALLE3的特色功能包括:

　　1. 與大型語言模型的互動體驗:Mini-DALLE3提供了與DALL•E3和ChatGPT一樣的互動和交叉文本到圖像和文本到文本的體驗。

　　2. 在對話中生成圖像:支持生成嵌入對話中的圖像，使得文本與圖像的交互更加生動。

　　3. 支持一次生成多個圖像:用戶可以選擇一次生成多張圖像，為創作提供更多可能性。

　　4. 圖像選擇功能:Mini-DALLE3允許用戶在生成圖像時進行選擇，增加了用戶的參與度。

　　5. 生成圖像的細化:提供了生成圖像的細化選項，可以調整圖像的細節和風格。

　　6. 提示細化和變化:支持進一步調整和改變提示，以獲取不同風格和結果。

　　7. 指導經過調整的大型語言模型(LLM/SD):用戶可以與經過調整的大型語言模型互動，以獲取定制的結果。

　　這些功能使Mini-DALLE3成為一個強大的文本到圖像工具，提供了豐富的創作和交互體驗。