巴黎礦業大學和以色列理工學院的研究人員聯合推出了一款創新視頻模型——Slicedit。這款模型能夠在不改變視頻背景的情況下,對視頻中的主要對象進行修改。例如,可以將沖浪者變成鋼鐵俠,或將轉球的男孩變成NBA巨星庫里等。
Slicedit模型結合了文生圖像的擴散模型和對視頻時空切片的預處理。盡管修改后的視頻可能會出現一些模糊和扭曲,但對于不熟悉專業視頻編輯軟件的業余人員來說,Slicedit提供了一種快速完成視頻內容修改的方法,類似于視頻版的Photoshop。這使得它非常適合用來制作搞笑視頻,用于鬼畜、抖音、快手等平臺。
Slicedit通過以下幾個關鍵技術克服了視頻編輯中的難題:
空間時間切片:從視頻的三維空間中提取的二維平面,可以是固定時間點上的視頻幀,或者是特定方向上跨越時間的連續幀組合。這使得模型能夠處理視頻中的動態元素,同時保持背景和其他非目標區域的穩定和完整性。
擴展注意力:Slicedit改進了傳統的注意力機制,使其能夠處理時間序列數據。模型在處理當前幀時,不僅考慮當前幀的信息,還會考慮與之相鄰的幀,從而捕捉視頻幀之間的動態變化。
DDPM反演:Slicedit采用了一種反推的去噪過程,從目標數據開始,找到一組噪聲向量,這些向量在經過DDPM的生成過程后能夠重建原始數據。這涉及到將輸入視頻幀轉換為噪聲空間,并進行條件去噪,以符合用戶的編輯標準。
研究人員表示,他們計劃很快開源Slicedit模型,以便更多的開發人員可以構建自己的視頻編輯器。
這項技術的發展可能會對視頻編輯領域產生重大影響,使得視頻編輯變得更加容易和可訪問,同時也為內容創作者提供了更多創新的可能性。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。