在創造生動的3D動畫角色時,面臨著這樣的挑戰,除了要滿足特定領域的高要求比如角色需要有獨特風格和豐富細節,還缺乏高質量的數據支撐。現有方法通常無法生成具有豐富細節,和過度自然的紋理,使得角色看起來不真實,不夠生動。
因此,來自上海交通大學的海AI實驗室和清華大學的研究團隊,研究著眼于基于輸入指令為卡通角色自動生成紋理設計。為了解決領域特定需求和高質量數據不足的挑戰,他們提出了 “Make-It-Vivid” 方法,這是首次嘗試從文本中在 UV 空間生成高質量紋理。
這個框架能夠根據文本描述自動生成高質量的3D紋理。該方法通過使用視覺問答代理生成了詳細的文本 - 紋理配對數據,為3D 角色準備了數據。然后,他們定制了一個預訓練的文本到圖像模型,以模板結構生成紋理地圖,同時保留自然的2D 圖像知識。此外,為了增強細粒度細節,他們提出了一種新穎的對抗學習方案,縮短了原始數據集與真實紋理領域之間的域差。
大量實驗證明,他們的方法優于當前的紋理生成方法,實現了高效的角色紋理處理和根據提示生成忠實的結果。此外,他們展示了各種應用,如域外生成和紋理風格化。他們還提供了一個高效的生成系統,用于自動文本引導的紋理角色生成和動畫。
這一方法接受一對數據作為輸入,包括一個紋理地圖、相應的文本描述 P 和網格模型 M。他們對預訓練的文本到圖像擴散模型的低秩適配器∆θ 進行微調,以生成高質量 UV 紋理。為了提高合成紋理的質量和感知保真度,他們引入了對抗訓練來增強紋理細節。他們利用由 ControlNet 生成的渲染深度條件的合成可信圖像作為指導,引導這種對抗性訓練。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。