本文來自于微信公眾號 機器之心(ID:almosthuman2014)，作者:機器之心。

　　2023年，大模型的落地按下加速鍵，文生圖便是最火熱的應用方向之一。

　　自從 Stable Diffusion 誕生以來，海內(nèi)外的文生圖大模型不斷涌現(xiàn)，一時有「神仙打架」之感。每一次技術迭代，都帶來了模型生成效果和速度的飛速提升。

　　就在今天，騰訊混元大模型也宣布了最新進展:文生圖能力正式上線。

　　一上手試用，我們就看到了混元大模型對于博大精深的中餐文化的理解。這里選取了讓很多大模型犯難的「螞蟻上樹」，但混元輕松生成:

　　問題來了，現(xiàn)在的文生圖大模型這么卷，混元大模型還有沒有其他特別的優(yōu)勢?

　　據(jù)官方介紹，如果從算法、模型方面來講，當前文生圖大模型還存在一些挑戰(zhàn)，比如語義理解不夠精準、生成圖片結構不合理、畫面細節(jié)不夠和質(zhì)感不高等問題。

　　騰訊很早就開始在廣告場景進行 AI 自動生成圖像的探索，相關的積累不可謂不深厚。此次混元大模型升級的文生圖能力，恰恰希望解決「語義、內(nèi)容、質(zhì)感」這三點難題。

　　據(jù)介紹，相比其他大模型，騰訊混元的文生圖在人像真實感、場景真實感上有比較明顯的優(yōu)勢，同時，在中國風景、動漫游戲等場景等生成上有較好的表現(xiàn)。

　　上手實測:混元文生圖，有什么不一樣?

　　做好「文生圖」這件事，對「文」的充分理解至關重要。

　　在語義理解方面，混元文生圖模型采用了中英文雙語細粒度的模型，同時基于中英文雙語建模實現(xiàn)雙語理解，且通過優(yōu)化算法提升了模型對細節(jié)的感知能力與生成效果。

　　在此之前，像 Stable Diffusion 這樣的熱門模型雖然支持一定程度的中文，但其核心數(shù)據(jù)集 LAION-5B 仍以西方化內(nèi)容為主，對中國的語言、美食、文化、習俗都理解不夠。

　　而混元文生圖模型是一個中文原生的文生圖模型，無論用戶輸入的中文詩句還是成語，都可以直接要求其創(chuàng)作畫作。

　　在內(nèi)容合理性方面，混元文生圖通過增強算法模型的圖像二維空間位置感知能力，并將人體骨架和人手結構等先驗信息引入到生成過程中，讓生成的圖像結構更合理，改善了 AI 生成人體結構和手部不合理的問題。

　　在畫面質(zhì)感方面，混元文生圖基于多模型融合的方法，提升生成質(zhì)感。經(jīng)過優(yōu)化之后，混元文生圖的人像模型(發(fā)絲、皺紋等)效果提升了30%，場景模型(草木、波紋等)效果提升了25%。

　　這三方面的技術優(yōu)勢，對于混元大模型文生圖產(chǎn)品體驗的提升是顯而易見的。

　　為了驗證上述能力，機器之心設置了一些題目，第一時間對混元大模型進行了摸底測試。

　　鑒于混元是中文原生模型，自然也比其他同類產(chǎn)品更懂「古代中國的語言」，我們首先讓它根據(jù)古詩詞進行繪畫。

　　我們選取一句非常有意境的古詩「醉后不知天在水，滿船清夢壓星河」來測試，看混元大模型能否生成極具畫面感的圖。

　　在《泊船瓜洲》這首詩中，一句「春風又綠江南岸，明月何時照我還」，寫出了無數(shù)游子的鄉(xiāng)愁。混元的生成結果，提取出「春光」、「水岸」、「明月」等意象進行有機組合，讓人看到之后仿佛置身詩句場景之中:

　　然后是有趣的「中國菜繪畫」環(huán)節(jié)，來一道「魚香肉絲」經(jīng)典考題吧:

　　從讓人 san 值狂掉的中餐繪畫，到現(xiàn)在看圖下飯的水準，我們也能感受到文生圖技術的不斷進化。

　　接下來看看在業(yè)界公認的「人像真實感」難題上，混元做得如何:

　　我們知道最初 Midjourney 爆火，就是因為下面這張情侶照片，讓人無法分辨這竟然無 AI 生成的。

　　現(xiàn)在，我們考察一下混元大模型生成「照騙」的能力。使用的 Prompt 是:

　　你覺得真實感如何?在我們看來，Prompt 中提到的細節(jié)拉滿。

　　這也就是騰訊重點強調(diào)的:混元大模型通過優(yōu)化算法提升了對細節(jié)的感知能力與生成效果。這種能力，在很多具體的場景中才得以體現(xiàn)。

　　例如在動畫場景中，生成「一頭小鹿在森林中奔跑、帶動落葉飛起、月亮很亮很大、小鳥在空中飛翔，氛圍感，CG 風格，側面視角」。

　　是不是特別像是小時候看的動畫中的畫面?

　　此外，在動漫創(chuàng)作中，文生圖應用潛力巨大。

　　我們給到混元大模型的 Prompt 是「生成3D，動漫風格，1個女孩，金色頭發(fā)，微笑，短發(fā)，城市背景」:

　　你覺得生成效果如何?是不是可以直接拿來當壁紙了?

　　文生圖背后，有哪些自研技術?

　　工欲善其事，必先利其器，對于大模型同樣如此。

　　我們了解到，除了創(chuàng)新模型算法，騰訊混元大模型實現(xiàn)這樣接中文地氣的文生圖效果，其背后還離不開高質(zhì)量的圖文匹配數(shù)據(jù)、自研的機器學習框架以及強大的算力基礎設施。

　　騰訊混元大模型已經(jīng)形成了從模型算法到機器學習框架再到 AI 基礎設施的全鏈路自研技術路徑。多層次的技術沉淀，意味著大模型的進化需要一步一個腳印，從實踐出發(fā)，在實踐中提升。

　　首先來看支撐模型訓練的數(shù)據(jù)工程。

　　對于任何 AI 特別是大模型而言，數(shù)據(jù)都是不可或缺的三大要素之一。大模型文生圖功能亦是如此，圖文數(shù)據(jù)尤其是圖文之間的匹配數(shù)據(jù)對生成效果的影響舉足輕重。

　　但是網(wǎng)絡上已有數(shù)據(jù)并不是都能拿來即用的，其中很大的問題是文字對圖片的描述不一定準確，這就導致大多數(shù)圖文匹配數(shù)據(jù)質(zhì)量比較差。如果拿來用，即使訓練時間很長，模型生成效果依然達不到預期，也會影響生成質(zhì)量的穩(wěn)定性和后續(xù)的迭代效率。

　　因此，提升圖文數(shù)據(jù)質(zhì)量成為保證文生圖效果的「第一道關」。這時候往往需要通過工程化的方式提升數(shù)據(jù)質(zhì)量，支撐模型訓練、優(yōu)化和升級，構筑算法模型的護城河。

　　面對圖文匹配數(shù)據(jù)問題，騰訊混元文生圖團隊的應對策略是這樣的:首先細粒度地完善中文 prompt，提升圖文相關性，最大化數(shù)據(jù)質(zhì)量;然后采取訓練數(shù)據(jù)分層、分級的策略，逐步優(yōu)化模型，最大化數(shù)據(jù)效果;最后建設數(shù)據(jù)飛輪，它是大模型快速迭代的關鍵。團隊基于線上用戶使用大模型的反饋，自動化構建訓練數(shù)據(jù)，加快模型迭代，最大化數(shù)據(jù)效率。

　　數(shù)據(jù)質(zhì)量、效果和效率提上去了，這就為良好的文生圖效果打下了基礎。而接下來要講的機器學習框架同樣重要。

　　強大的機器學習框架或平臺會極大地提升開發(fā)者構建、訓練和部署模型的速度和效率。騰訊針對大模型訓練和推理場景，自研了 Angel 機器學習平臺，主要包括負責訓練的 AngelPTM 和負責推理的 AngelHCF 兩大部分。

　　其中 AngelPTM 采用 ZeRO-Cache 優(yōu)化策略，成為超大模型訓練利器，它通過存儲管理擴大單機模型容量，通過多流異步提高資源利用率，通過顯存管理提高顯存效率。此外利用4D 并行提高可用顯存上限，減少千卡通信壓力，釋放計算潛能。自動續(xù)訓機制支持千卡故障自動容錯，減少中斷時間。模型訓練情況也在實時監(jiān)控之下，協(xié)同算法優(yōu)化模型訓練方向。

　　目前，AngelPTM 基于業(yè)界首創(chuàng)的 ZeRO-Cache 機制 +4D 并行實現(xiàn)了千億混元基座模型的高速訓練，訓練速度相比主流開源框架(DeepSpeed-Chat)提升1倍。

　　AngelHCF 主要從定制多樣化服務策略、并行策略、框架加速(覆蓋常用 GPU 加速方法)、模型壓縮(支持業(yè)界常用壓縮方法)和高效模型 Debug 能力五個層面提升大模型的推理性能。推理速度相比業(yè)界主流框架(FasterTransformer)提升1.3倍。

　　騰訊表示，其 Angel 機器學習平臺具備了領先性能，能夠幫助提供更好的基建體系，助力大模型們高速運行。這使得混元大模型生成高質(zhì)圖片的同時，生成速度也大大改進。

　　擁有了高質(zhì)量的數(shù)據(jù)、高效的機器學習框架，大模型的持續(xù)運行還面臨著算力層面的考驗。畢竟，大模型時代，算力為王。

　　騰訊混元文生圖功能離不開騰訊云提供的強大算力基礎設施。2023年4月，騰訊云發(fā)布新一代 HCC 高性能計算集群，采用最新一代星星海自研服務器，并基于自研網(wǎng)絡和存儲架構，實現(xiàn)了3.2T 超高互聯(lián)帶寬、TB 級吞吐能力和千萬級 IOPS。新一代集群算力性能較前代提升了3倍，較傳統(tǒng)算力集群方案提升12倍以上。

　　夯實底層硬件的同時，上層軟件能力也要齊頭并進。新一代 HCC 集群集成了騰訊云自研的 TACO 訓練加速引擎，從網(wǎng)絡協(xié)議、通信策略、AI 框架、模型編譯層面做了大量系統(tǒng)級優(yōu)化。這套全生態(tài)的訓練加速方案不僅可以幫助客戶降低 AI 優(yōu)化門檻，提升 AI 訓練性能，還使訓練調(diào)優(yōu)和算力成本大大降低。

　　看起來，制約大模型的三大要素算法、數(shù)據(jù)和算力，在騰訊混元大模型這里都不成問題了。自然而然，文生圖質(zhì)量和效果也得到了保障。

　　效果「以假亂真」，

　　文生圖能力已嵌入騰訊廣告場景

　　今天我們看到的混元大模型文生圖能力，并非一蹴而就，而是一個實實在在的演進過程。

　　在上個月舉行的2023騰訊全球數(shù)字生態(tài)大會上，騰訊混元大模型正式亮相。騰訊集團副總裁蔣杰當時表示，混元永遠在路上。騰訊會一直演進混元的能力，并希望每個月都會給大家?guī)�來驚喜。

　　目前，騰訊已有180個內(nèi)部業(yè)務接入混元大模型，包括包括騰訊會議、騰訊文檔、企業(yè)微信、騰訊廣告和微信搜一搜等。同時來自零售、教育、金融、醫(yī)療、傳媒、交通、政務等多個行業(yè)的客戶也通過騰訊云調(diào)用騰訊混元 API，應用領域涉及智能問答、內(nèi)容創(chuàng)作、數(shù)據(jù)分析、代碼助手等多個場景。

　　此次開放的文生圖能力便是騰訊混元大模型帶給我們的最大驚喜，展示其在圖像自動生成領域的領先能力。當然，騰訊混元文生圖也在逐漸進化中，后續(xù)會開發(fā)更多文生圖相關以及圖生圖功能。我們可以狠狠期待一波了。

　　目前，混元文生圖能力已經(jīng)嵌入到了騰訊廣告場景中，比如生成商品廣告或廣告配圖。在廣告業(yè)務下的多輪測評中，騰訊混元文生圖的案例優(yōu)秀率和廣告主采納率分別達到86% 和26%，均高于同類模型。

　　我們先來看下面這個示例，要求混元大模型生成一個酒店房間。從效果來看，升級后混元文生圖效果明顯更好，設計感、品質(zhì)感提升很大，細節(jié)更加豐富。即使與 Midjourney 比較一番，效果也不相上下。

　　人物類生成場景也有類似的效果。升級后混元生成的人像真實感更強，比如面部膚色、皺紋等細節(jié)。

　　廣告場景之外，騰訊內(nèi)部還在不斷探索其他文生圖的需求場景，比如游戲場景中生成游戲元素和游戲角色、內(nèi)容場景中生成小說配圖、插圖，云業(yè)務場景中將混元能力開放給不同行業(yè)的客戶。

　　大浪淘沙，再強悍的模型，也要讓更多人用上并持續(xù)獲得反饋，才有可能百尺竿頭更進一步。

　　可以預見，未來騰訊產(chǎn)品中將迎來混元文生圖能力的大爆發(fā)，用戶也將體驗更多 AIGC 帶來的魅力。