近日,字節跳動最新發布了DreamActor-H1視頻生成系統,用戶只需輸入商品和角色照片,即可自動生成專業級帶貨視頻,旨在通過采用擴散變換器(DiT)技術,解決現有技術在真實性和自然性方面的局限。
傳統的視頻生成方法常常無法同時保持人和產品的身份,導致演示效果不夠真實,互動性也較差。這使得消費者在觀看產品演示時,難以獲得真實的購買感受。為了解決這一問題,DreamActor-H1 框架提出了一種創新的方法,采用成對的人機交互參考信息,并引入了一種額外的掩蔽交叉注意力機制。通過這些技術,框架能夠更好地保持人機交互的身份特征和產品細節,例如產品的徽標和紋理。
此外,DreamActor-H1 利用 3D 身體網格模板和產品邊界框來提供精確的動作引導,使得手勢與產品位置之間的匹配變得更加直觀。這樣的設計使得用戶在觀看視頻時,能夠感受到更真實的互動體驗。而且,框架還采用了結構化文本編碼,增強了視頻生成過程中對類別級語義的理解。這一技術特別適用于跨幀的小角度旋轉變化,從而提升了 3D 模型的一致性。
在豐富的數據增強策略和混合數據集的支持下,DreamActor-H1 在生成高保真度的人機交互演示方面,表現出色。經過嚴格的測試和評估,研究團隊發現,該框架在保持人和產品身份完整性以及生成逼真的演示動作方面,均優于現有的最先進技術。這一突破性的成果,將為數字營銷和電子商務領域帶來新的機遇,推動產品展示方式的變革。
DreamActor-H1 的推出不僅將為消費者提供更加真實和互動的購物體驗,同時也為商家提供了更有效的產品展示工具。隨著技術的不斷進步,消費者在虛擬空間中的購物體驗必將更加生動、真實、富有吸引力。無疑,DreamActor-H1 將成為數字營銷領域的一顆新星,引領人機交互演示視頻生成的新潮流。


產品與服務
聯系站長
關于我們