字節跳動開源全新AI模型LatentSync 精準控制唇形同步

　　字節跳動推出的LatentSync是一項先進的端到端唇同步技術，利用音頻條件的潛在擴散模型，實現了視頻中人物唇部動作與音頻的精確匹配。

　　該技術通過引入TREPA技術，增強了時間一致性，同時優化了SyncNet的收斂性，顯著提升了唇同步的準確性。

　　端到端框架:LatentSync無需中間運動表示，直接從音頻生成唇部動作。

　　高質量生成:利用Stable Diffusion生成動態逼真的說話視頻，提升視覺效果。

　　時間一致性:通過TREPA技術增強視頻幀之間的時間一致性，確保唇同步的準確性。