本文來自于微信公眾號 機器之心(ID:almosthuman2014)，作者:機器之心。

　　不實際試穿，就能嘗試各種服飾，虛擬試衣技術讓「QQ秀」升級成了真人版，為時尚行業打開了新世界的大門。

　　然而，現有的虛擬試衣方法在逼真性和細節上的一致性方面還存在挑戰。雖然擴散模型在創造高品質和真實感圖像方面表現出眾，但在虛擬試衣等特定場景中，它們在維持控制力和一致性方面還有待提高。

　　Outfit Anyone 利用了一種創新的雙流條件擴散模型，有效地解決了這些問題，能夠精確地處理服裝的變形效果，實現更加逼真的試穿體驗。Outfit Anyone最大的特點是其極強的適應性和廣泛的應用范圍，不僅能調整以適應不同的姿勢和體形，無論是動畫形象還是真人，都可以一鍵換裝。現已開放試玩。

　　主要方法:條件擴散網絡

　　虛擬試衣任務本質是一個條件生成的任務，也就是基于給定一張服飾圖片作為條件輸入，控制生成服飾在人身上的試衣圖片。當前的 diffusion model 在生成的可控性方面做了很多工作，比如基于 tuning-based 的方法，如 lora， dreambooth 等，可以實現通過針對某一個或幾個概念的樣本圖片進行針對性訓練，學習對應的某個 concept， 在生成的過程中可以實現對應 concept 或者物體的生成。然而這種方式以來 finetuning，計算和時間成本高，且難以擴展到多個物體的同時生成。

　　另外一類控制生成的方法是以 controlnet 為代表，其主要原理是通過 zero-conv 訓練一個插件的網絡，可以實現利用 mask，canny edge， depth 等多種信號控制最終生成圖片的 layout。這種方式的最大的弊端在于控制信號與目標圖像在空間上是 align 的，但服飾與控制信號和目標圖像在空間分布上有較大的差異，導致無法直接使用，從而限制了其應用的拓展范圍。

　　因此，作者提出了一種新的支持試衣功能的條件生成網絡，實現服飾的形變，光照的變化，服飾新視角變化情況下的生成，同時能夠保持服飾的紋理，版型，細節的一致性。

　　相比 lora，dreambooth 等方法的好處是，不再需要針對每個物體進行 finetuning，具有很強的泛化性，從而可以實現 zero-shot 一鍵試衣。

　　此外，為了提升試衣結果的真實性，作者提出了 refiner 網絡，對服飾的細節進行提升，從而能夠提升服飾的材質、色彩，使其更接近真實的試衣效果。Outfit Anyone也支持各種復雜的服飾，多樣的姿勢，以及適配多種體型，使其能夠滿足用戶多樣化的試衣需求。

　　框架設計

　　近些年，雖然模型仍層出不窮，但模型設計逐漸走向同質化。主要可以分為3個部分:

　　(1)輸入信號(圖像 / 視頻 / 文本 /timestep)轉化為 embedding 參入到后續網絡計算中;

　　(2)基礎計算單元:以 Convolution Block 和 Transformer Block 構成;

　　(3)信息交互單元則根據 embedding 之間的不同，可以通過 spatially-aligned operation 和 non-spatially aligned operation 的多種方式實現融合。

　　在框架設計上，研究團隊遵循簡潔有效的原則，按以上的基礎思路，首先確定了需要何種輸入信號，并根據信號的差異化采用不同的特征交互方式。

　　在試衣場景中，需要3個控制信號:

　　模特控制:模型提取模特 id，姿態等控制信號，實現模特的控制。

　　服飾控制:服飾的平鋪圖、服飾的上身圖、飾品(帽子、包、鞋子等)。

　　圖像全局控制:文本描述。

　　Outfit Anyone采用了以下的控制信號植入形式:

　　模特控制:利用 spatially aligned operation ，本身作為模特圖抽取特征內容，與目標圖像在空間對齊。

　　服飾控制:本身與模特圖空間不能對齊，需要進行形變操作，再通過非線性的操作進行特征融合。

　　背景、質量等控制:利用 attention 機制實現語義層次特征與圖像特征的融合。

　　目前，基于 Diffusion Model 的生成模型強調生成內容在語義層面的對齊性，所以常采用以 CLIP 為代表的圖像語義抽取模型進行特征提取，但這對于試衣模型需要保留所輸入服飾的紋理細節矛盾。因此，現有基于 CLIP 特征的試衣模型難以準確完整的還原服飾本身的特性，采用對服飾紋理細節可還原 / 生成的網絡為佳。

　　而針對于模特相關的控制信號，在訓練時，本身是輸入模特圖的一種抽象信號，可作為輸入模特圖的一個特征通道，在同一網絡中，通過 Channel 維度進行信息整合，并不需要遵循 ControlNet 的設計，額外增加網絡進行處理，從而一定程度簡化模型結構。

　　基于以上思考，作者設計了 Outfit Anyone 的模型框架，將多種不同的輸入信號，輸入進兩個網絡流中，通過融合的方式實現可控生成。

　　數據

　　作者擴充了現有的公開服飾數據集，構建了一個大規模的虛擬試衣服飾數據集。整個數據涵蓋了各種類目，包含大量高質量圖片。此外，為了實現高質量的服飾還原，作者充分地整理和提取了服飾相關的材質屬性等信息。

　　效果展示

　　1. 僅需平鋪圖輸入，且支持單件 + 上下裝成套的試衣

　　站在服飾商家的角度，需要以平鋪圖作為輸入，避免需要上身圖的額外要求。但這也在服飾上身后的自然度方面對算法提出了更高的要求。

　　Outfit Anyone 支持平鋪圖的輸入，并且可同時支持單件或者上下搭配。模型根據模特姿勢身材的不同，相應生成褶皺、光照等細節不同的服飾上身效果，從而實現百變的換裝體驗。

　　2. 非常規服飾試衣

　　在時尚浪潮的前沿，除了常規版型的服飾，還有更多有創意的新奇服飾。Outfit Anyone對這類服飾也能提供很好的支持。

　　3. 細節一致性提升，可以保證服飾細節的一致性

　　為了使Outfit Anyone所生成的試衣圖片達到攝影級別的質量，作者進一步基于試衣模型結構開發了 refiner。可以在保留服飾基本 ID 的基礎上，顯著提升服飾的材料質感，模特的皮膚真實度。