利用DALL·E從文字合成圖片相信大家已經比較熟悉，近年來類似的研究不少，比如Meta前不久公布的Make-A-Video研究，即利用AI才能夠文本合成視頻。近期，谷歌也公布了一項新的AI模型Dreamfusion，該模型的特點是將AI圖像分析模型Imagen與NeRF(神經輻射場)結合，可根據文本來合成3D模型。

　　據青亭網了解，谷歌在2021年底曾推出3D合成AI系統Dream Fields，Dreamfusion則是在此基礎上的演變，區別是Dreamfusion利用Imagen來取代OpenAI的CLIP圖像分析模型，Imagen是谷歌預訓練的2D文本圖像擴散模型。而神經輻射場的部分則提供了合成3D視圖的能力，并允許在神經網絡中存儲3D模型，接著通過Marching Cubs三維重建算法，可導出為具有網格的3D模型，并在常見的3D渲染引擎、建模軟件中使用。

　　簡單來講，Imagen的優勢在于使用2D文本圖像即可訓練，更容易規模化。Dreamfusion會使用Imagen生成的多視角2D圖像來學習3D渲染，實現用文本來合成3D模型。此外相比于Dream Fields，Dreamfusion可合成更高質量、具有深度和法線的、可重新照明的3D模型，因此整體效果更逼真。而且，Dreamfision生成的多個3D模型可縫合到同一個場景中。

　　參考：Mixed