Stable Diffusion 3，可通過API使用啦

　　4月18日，著名開源大模型平臺Stability.ai在官網(wǎng)宣布，最新文生圖模型Stable Diffusion3(簡稱“SD3”)和 SD3Turbo可以在API中使用。

　　據(jù)悉，本次繼續(xù)由知名API管理平臺Fireworks AI提供服務(wù)。與前兩代相比，SD3除了生成的圖片質(zhì)量更高之外，可以更好地理解提示文本中嵌入到圖片中的文字。

　　例如，一個色彩繽紛的魔法世界，天空的中央寫著“歡迎來到魔法世界”。

　　前兩個模型版本可能無法將“歡迎來到魔法世界”精準嵌入到圖片的指定位置或出現(xiàn)扭曲的文字，而SD3可以輕松實現(xiàn)。

　　此外，SD3的模型權(quán)重將很快向Stability AI會員提供，可以在本地部署、運行SD3。

　　Stable Diffusion3架構(gòu)簡單介紹

　　今年2月22日，Stability.ai在官網(wǎng)首次展示了SD3并開啟候補測試。隨后3月5日在arxiv上公布了其論文。

　　根據(jù)其論文介紹，SD3與前兩代相比最大技術(shù)創(chuàng)新在于，使用了MM-DiT和Flow Matching兩種方法來增強模型的輸出、訓(xùn)練、優(yōu)化等，同時支持文本或圖像作為提示實現(xiàn)多模態(tài)能力。

　　通常多數(shù)文生圖模型在生成的過程中，只考慮圖像本身而沒有充分利用文本信息，所以，輸出結(jié)果時經(jīng)常出現(xiàn)“驢頭不對馬嘴”的情況，甚至是一些無法理解的亂碼或者扭曲的圖像。

　　而MM-DiT通過結(jié)合Transformer的自注意力機制強大的文本和圖像序列處理能力，幫助模型在生成圖像時能與文本實現(xiàn)更好的匹配。

　　當用戶輸入文本或圖像提示時，首先被轉(zhuǎn)換為嵌入表示。文本通過預(yù)訓(xùn)練的文本模型編碼，而圖像則通過預(yù)訓(xùn)練的自動編碼器轉(zhuǎn)換為潛在空間表示。

　　MM-DiT會使用一種調(diào)制機制來整合時間步和文本條件信息，會將時間步和文本嵌入與圖像的潛在表示進行整合。

　　接著，MM-DiT會利用一系列的調(diào)制注意力和多層感知力進一步混合文本和圖像特征。這些塊允許模型在保留各自模態(tài)特征的同時，進行跨模態(tài)的信息交流。

　　為了幫助SD3更好地處理多模態(tài)數(shù)據(jù)，MM-DiT采用了多頭注意力機制，允許模型在不同的表示子空間中并行處理信息。

　　這也是SD3能深度理解文本提示中的嵌入文字主要原因，MMDiT不僅能將文字轉(zhuǎn)換成圖片，還能確保圖片能夠反映出文字中的所有細節(jié)。

　　根據(jù)測試數(shù)據(jù)顯示，與DiT、CrossDiT、UViT等方法相比，MM-DiT所有指標上表現(xiàn)都非常出色，并且在內(nèi)部共享權(quán)重集。

　　Flow Matching是一種用于訓(xùn)練Rectified Flow模型的方法，通過最小化生成路徑上的誤差來改善模型性能，同時幫助模型學(xué)習(xí)從隨機噪聲快速轉(zhuǎn)換到目標圖像。

　　在訓(xùn)練過程中，F(xiàn)low Matching會先定義一個從數(shù)據(jù)分布到噪聲分布的前向過程，這個過程通過一系列的時間步驟來模擬，每個步驟都對應(yīng)著數(shù)據(jù)向噪聲的逐漸轉(zhuǎn)變。

　　接著，通過對每個時間步的噪聲樣本生成一個向量場，可以在概率空間中模擬數(shù)據(jù)到噪聲的轉(zhuǎn)換。

　　最后，F(xiàn)low Matching通過最小化一個目標函數(shù)來優(yōu)化生成向量場。該目標函數(shù)的作用是幫助模型預(yù)測的向量場和真實向量場之間的差異。優(yōu)化的過程中會盡量減小這個差異，從而提高模型的生成圖像預(yù)測準確性。

　　關(guān)于SD3更詳細的技術(shù)解讀，小伙伴們可以查看論文。

　　SD3生成圖片展示

　　根據(jù)Stability.ai展示的效果，SD3生成的圖片有一些甚至比Midjourney更好，尤其是文字嵌入方面。

　　一座白色建筑頂部放著一張紅色沙發(fā)。涂鴉強上寫著“城市最佳景觀”。

　　一個印有“他們說在這里思考不好”的紙板箱，紙板箱很大，放在劇場舞臺上。

　　半透明的豬，肚子里有一只更小的豬。

　　一只奶酪制作的螃蟹，在盤子中。

　　在山頂上有一位巫師創(chuàng)作了一幅令人驚嘆的藝術(shù)作品，他用魔法創(chuàng)造了文字"Stable Diffusion3API"。