字節(jié)跳動推出的LatentSync是一項先進(jìn)的端到端唇同步技術(shù)，利用音頻條件的潛在擴散模型，實現(xiàn)了視頻中人物唇部動作與音頻的精確匹配。

　　該技術(shù)通過引入TREPA技術(shù)，增強了時間一致性，同時優(yōu)化了SyncNet的收斂性，顯著提升了唇同步的準(zhǔn)確性。

　　端到端框架:LatentSync無需中間運動表示，直接從音頻生成唇部動作。

　　高質(zhì)量生成:利用Stable Diffusion生成動態(tài)逼真的說話視頻，提升視覺效果。

　　時間一致性:通過TREPA技術(shù)增強視頻幀之間的時間一致性，確保唇同步的準(zhǔn)確性。