騰訊推全新圖生視頻模型Follow-Your-Pose-v2 可生成多人運(yùn)動視頻

　　騰訊混元團(tuán)隊(duì)聯(lián)合中山大學(xué)、香港科技大學(xué)推出了一款全新的圖生視頻模型，名為"Follow-Your-Pose-v2"。這一模型在視頻生成領(lǐng)域?qū)崿F(xiàn)了從單人到多人的跨越，能夠處理人物合照，讓所有人都能同時(shí)在視頻中動起來。

　　主要亮點(diǎn):

　　支持多人視頻動作生成:在推理耗時(shí)更少的情況下，實(shí)現(xiàn)多人視頻動作的生成。

　　強(qiáng)泛化能力:無論年齡、服裝、人種、背景雜亂程度或動作復(fù)雜性如何，都能生成高質(zhì)量視頻。

　　日常生活照/視頻可用:模型訓(xùn)練及生成可以使用日常生活照(包括抓拍)或視頻，無需尋找高質(zhì)量圖片/視頻。

　　正確處理人物遮擋:面對單張圖片上多個(gè)人物軀體相互遮擋的問題，能生成具有正確前后關(guān)系的遮擋畫面。

　　技術(shù)實(shí)現(xiàn)方面:

　　模型利用"光流指導(dǎo)器"引入背景光流信息，即使在相機(jī)抖動或背景不穩(wěn)定的情況下，也能生成穩(wěn)定背景動畫。

　　通過"推理圖指導(dǎo)器"和"深度圖指導(dǎo)器"，模型能更好地理解圖片中的人物空間信息和多角色的空間位置關(guān)系，有效解決多角色動畫和身體遮擋問題。

　　評估與比較:

　　團(tuán)隊(duì)提出了一個(gè)新的基準(zhǔn)Multi-Character，包含約4000幀多角色視頻，用以評估多角色生成效果。

　　實(shí)驗(yàn)結(jié)果顯示，"Follow-Your-Pose-v2"在兩個(gè)公共數(shù)據(jù)集(TikTok和TED演講)和7個(gè)指標(biāo)上的性能均優(yōu)于最新技術(shù)35%以上。

　　應(yīng)用前景:

　　圖像到視頻生成技術(shù)在電影內(nèi)容制作、增強(qiáng)現(xiàn)實(shí)、游戲制作及廣告等多個(gè)行業(yè)有著廣泛的應(yīng)用前景，是2024年備受關(guān)注的AI技術(shù)之一。

　　其他信息:

　　騰訊混元團(tuán)隊(duì)還公布了文生圖開源大模型(混元DiT)的加速庫，大幅提升推理效率，生圖時(shí)間縮短75%。

　　混元DiT模型的使用門檻降低，用戶可以在Hugging Face的官方模型庫中用三行代碼調(diào)用模型。