12月19日-20日，由騰訊發(fā)起的2020 Techo Park開發(fā)者大會于北京順利召開。其中人工智能專場以“人工智能算法與最佳實(shí)踐”為主題，為開發(fā)者、業(yè)界及生態(tài)伙伴呈現(xiàn)了云計(jì)算時(shí)代下人工智能領(lǐng)域的最新前沿技術(shù)與最佳行業(yè)實(shí)踐。

　　騰訊優(yōu)圖實(shí)驗(yàn)室的研究員梁晨、王亞彪、姚達(dá)、楊博分別圍繞AI視覺傳感器、視覺算法在圖像編輯生成中的研究與應(yīng)用、TNN跨平臺推理優(yōu)化、模量化訓(xùn)練部署及實(shí)踐等發(fā)表了主題演講，向業(yè)界展示了優(yōu)圖最新研究成果與產(chǎn)業(yè)實(shí)踐。

　　自研AI視覺傳感器VisionSeed，算法多樣支持二次開發(fā)

　　在論壇上，梁晨給大家介紹了一個(gè)有趣的硬件——AI視覺傳感器。什么是AI視覺傳感器呢?它是由攝像頭、NPU和算法組成的硬件模組，其基本運(yùn)行原理是：在NPU上運(yùn)行深度學(xué)習(xí)算法，能夠直接對攝像頭拍攝到的畫面進(jìn)行實(shí)時(shí)分析，并將分析的結(jié)果通過數(shù)字信號傳輸給主機(jī)。

　　據(jù)梁晨介紹，騰訊優(yōu)圖推出了一款自研的AI視覺傳感器——VisionSeed，內(nèi)置優(yōu)圖領(lǐng)先的視覺AI算法，還提供專業(yè)的配套工具和全平臺的SDK作為支撐，讓開發(fā)者可以方便的進(jìn)行二次開發(fā)。

　　騰訊優(yōu)圖專家研究員 梁晨

　　算法是AI視覺傳感器的靈魂，VisionSeed具有很強(qiáng)的擴(kuò)展性，能適應(yīng)多種算法。一是可以適配SSD、YOLO-V4等開源的目標(biāo)檢測算法。二是應(yīng)用于自動駕駛小車競賽領(lǐng)域的車道定位算法，將VisionSeed安裝在AGV小車的前端，獲取第一人稱視角的車道畫面后，通過算法輸出小車在車道內(nèi)的橫向偏移。這個(gè)算法主要通過語義分割進(jìn)行車道信息提取，再通過回歸模型直接得到定位結(jié)果來完成任務(wù)，將這兩個(gè)交通標(biāo)識檢測和車道定位模型都部署到AI視覺傳感器中，它就能指揮AGV小車完成復(fù)雜的任務(wù)。三是OCR算法，VisionSeed適配了基于 PyTorch開源實(shí)現(xiàn)的CRNN算法。

　　VisionSeed將以上算法，在客戶端工具中封裝成可以一鍵下載的模塊，不僅方便用戶下載體驗(yàn)，還可以進(jìn)行分類任務(wù)訓(xùn)練。VisionSeed還同時(shí)支持UART和USB兩個(gè)硬件接口。此外，通過VisionSeed提供的全平臺SDK，開發(fā)者僅用10行代碼就可以獲取到AI分析后的結(jié)構(gòu)化結(jié)果。

　　研發(fā)圖像編輯生成技術(shù)，解鎖圖像和視頻領(lǐng)域更多可能

　　什么是圖像編輯生成?人臉融合、圖像分割、動漫化、視頻換臉、照片驅(qū)動……這些都是利用圖像編輯生產(chǎn)技術(shù)完成的。演講中，騰訊優(yōu)圖高級研究員王亞彪重點(diǎn)介紹了視頻換臉、面部屬性編輯、視線編輯、畫質(zhì)編輯這四項(xiàng)技術(shù)，他表示這些技術(shù)都會用到GAN生成對抗網(wǎng)絡(luò)和Encoder-Decoder框架。

　　視頻換臉領(lǐng)域早期有一個(gè)Deepfake算法，該算法只能對訓(xùn)練過的兩個(gè)特定ID換臉，無法使用各種各樣的人臉去做替換。針對此點(diǎn)不足，優(yōu)圖提出了SimSwap算法，不僅能滿足不同人臉的替換，還可以做跨性別替換，在正臉和側(cè)臉之間也可以進(jìn)行替換。

　　騰訊優(yōu)圖高級研究員 王亞彪

　　在面部屬性編輯技術(shù)研究中發(fā)現(xiàn)，模型不同層級的“風(fēng)格”特征表示，在某些層級具有很好的可分性，因此優(yōu)圖提出了SSCGAN算法，該算法采用多級風(fēng)格跳躍連接(SSC)和空間信息遷移(SIT)兩個(gè)模塊，實(shí)現(xiàn)整體結(jié)構(gòu)和局部面部屬性的精確編輯。

　　在視線編輯方面，王亞彪指出，疫情期間在線視頻交流越來越重要，但受限于屏幕和攝像頭之間的物理布局，導(dǎo)致交流過程中缺乏眼神接觸，因此優(yōu)圖提出Ugaze 算法框架，矯正眼神視線方向。相較于以往基于3D變換的視圖生成和基于生成模型的單目視線編輯， Ugaze 算法主要有兩點(diǎn)創(chuàng)新：一是提出了基于運(yùn)動流場結(jié)合判別器的方案;二是使用了大量人工合成數(shù)據(jù)，采用域遷移方法，進(jìn)一步提升了模型矯正精度。

　　針對畫質(zhì)編輯，優(yōu)圖提出了圖像超分RealSR算法。以往的超分算法往往只在特定數(shù)據(jù)集上有效，難以很好的對真實(shí)世界圖像做超分。針對以往算法在高清和低清圖像pair構(gòu)造上的不足，我們提出了一種新的圖像退化框架，該框架可以估計(jì)多樣化的模糊核和真實(shí)噪聲分布。RealSR算法獲得了NTIRE 2020挑戰(zhàn)賽冠軍，并受到了眾多社區(qū)開發(fā)者的關(guān)注。

　　推出統(tǒng)一推理框架TNN，解決產(chǎn)業(yè)落地難題

　　騰訊優(yōu)圖高級研究員姚達(dá)在演講中介紹到，優(yōu)圖的視覺AI技術(shù)如文字識別、圖像識別、美容美化等核心技術(shù)，已在零售、工業(yè)、支付等多個(gè)領(lǐng)域進(jìn)行應(yīng)用。但在產(chǎn)業(yè)解決方案落地過程中，優(yōu)圖也遇到了一些難點(diǎn)，比如模型格式不同一、硬件架構(gòu)眾多、性能低功耗高等。

　　為解決以上三大難點(diǎn)，優(yōu)圖聯(lián)合騰訊內(nèi)部多個(gè)部門推出了統(tǒng)一推理框架TNN，以滿足算法模型跨平臺、高性能快速部署需求。TNN通過ONNX作為一個(gè)中間結(jié)構(gòu)支持PyTorch、TensorFlow等多種模型格式，同時(shí)TNN在底層適配了各種各樣的芯片能力。目前在騰訊內(nèi)部，TNN已在手Q、微視等多個(gè)APP端以及微信支付一體機(jī)等終端落地，穩(wěn)定性和可靠性得到廣泛驗(yàn)證。

　　騰訊優(yōu)圖高級研究員 姚達(dá)

　　TNN推理框架是如何進(jìn)行優(yōu)化的呢?根據(jù)硬件架構(gòu)基礎(chǔ)和硬件的演進(jìn)，TNN提出兩個(gè)基本準(zhǔn)則：一是減少計(jì)算量，減少內(nèi)存讀寫，適配Cache讓內(nèi)存讀寫更快;二是擴(kuò)展適配異構(gòu)計(jì)算設(shè)備。

　　基于以上兩個(gè)原則，TNN提出了圖優(yōu)化、算子公式優(yōu)化、算子手動調(diào)優(yōu)、異構(gòu)調(diào)度優(yōu)化等多種優(yōu)化方案。在圖優(yōu)化中通過常數(shù)折疊和算子融合，避免運(yùn)行時(shí)冗余計(jì)算以及減少內(nèi)存讀寫次數(shù);在算子公式優(yōu)化中，利用子圖變換、公式等效和近似計(jì)算，減小計(jì)算量和內(nèi)存讀寫總量。在算子手動調(diào)優(yōu)中，針對耗時(shí)占比在70%以上的卷積算子，根據(jù)硬件緩存特性設(shè)計(jì)精細(xì)的卷積實(shí)現(xiàn)。在異構(gòu)調(diào)度優(yōu)化中，TNN提出異構(gòu)單元專職專用，充分利用所有計(jì)算設(shè)備，根據(jù)計(jì)算設(shè)備特性分配不同計(jì)算任務(wù)，同時(shí)計(jì)算設(shè)備間進(jìn)行流水線優(yōu)化，以此減少計(jì)算設(shè)備相互等待，提升計(jì)算重疊度，減少整體延時(shí)。

　　在硬件適配方面，針對端邊云硬件架構(gòu)各異，相互不具備通用性，適配工作量巨大這些難點(diǎn)，TNN和硬件廠商進(jìn)行了聯(lián)合優(yōu)化，優(yōu)化后可以達(dá)到兩種效果：一是接口統(tǒng)一，用戶只需要通過簡單的參數(shù)設(shè)置，就可以在CPU、GPU、NPU上運(yùn)行。二是模型統(tǒng)一，TNN內(nèi)部通過IR中間件的方式適配各個(gè)硬件廠商的自研框架如OpenVINO\TensorRT等，用戶僅需轉(zhuǎn)換TNN模型即可在各硬件平臺部署。

　　優(yōu)圖在推理框架TNN下與英特爾合作完成多尺度GEMM優(yōu)化，使得模型性能提升24%;與英偉達(dá)完成低精度量化模型的訓(xùn)練和推理支持，相比FP32推理提升4倍以上

　　目前，TNN已經(jīng)開源，期待更多開發(fā)者加入進(jìn)來，一起協(xié)同共建統(tǒng)一的推理框架。

　　聯(lián)合英偉達(dá)開發(fā)Int8方案，推動模型量化高效升級

　　騰訊優(yōu)圖高級研究員楊博在演講中講述了模型量化的背景，他指出業(yè)界比較常用的模型量化解決方案是NVIDIA post-train方案，這個(gè)方案是在訓(xùn)練完之后對模型進(jìn)行校正，使用少量的數(shù)據(jù)，部署很方便，但有一個(gè)缺點(diǎn)是會導(dǎo)致模型效果下降。此外，還有一種是以Tensorflow QAT為代表的解決方案，這種方法在訓(xùn)練過程中模擬Int8計(jì)算，采用Minmax計(jì)算量化區(qū)間，F(xiàn)inetune補(bǔ)償精度損失，但訓(xùn)練周期長，而且工具鏈還不是很完善，一些常用的模型無法支持從訓(xùn)練到部署的轉(zhuǎn)化。

　　可以看出，業(yè)界傳統(tǒng)的解決算法都存在某些方面的不足，針對以上這些問題，優(yōu)圖和英偉達(dá)合作開發(fā)了一個(gè)完善的Int8訓(xùn)練到部署的方案，該方案升級了圖優(yōu)化匹配模板，支持更多模型QAT圖轉(zhuǎn)換，其次增加了混合精度量化訓(xùn)練方式等其他量化模型精度保持方式，最后推理框架(TensorRT、TNN)支持包含quant節(jié)點(diǎn)的模型轉(zhuǎn)換。

　　騰訊優(yōu)圖高級研究員 楊博

　　Int8模型科學(xué)機(jī)訓(xùn)練采用的是什么工作方法呢?首先會做一個(gè)BN層的融合，然后是子圖搜索和匹配，匹配到子圖以后，會自動插入量化節(jié)點(diǎn)，最后通過建立黑白名單的混合精度策略、動態(tài)量化區(qū)間統(tǒng)計(jì)以及激活層增量量化等方法，來保持模型效果。

　　Int8模型前向部署主要分為兩部分，一是導(dǎo)出模型到onnx，完成QAT訓(xùn)練后，對checkpoint進(jìn)行后處理并導(dǎo)出包含量化op在內(nèi)的onnx模型;二是采用TensorRT顯示精度的模式完成fp32模型到int8模型的轉(zhuǎn)換，對相關(guān)OP做一些融合，將onnx模型轉(zhuǎn)換到tensorRT和TNN內(nèi)。

　　楊博表示Int8標(biāo)準(zhǔn)模型，在打通Calibration和QAT部署相關(guān)工作之后的一些數(shù)據(jù)效果很好，但會增加耗時(shí)，優(yōu)圖會繼續(xù)優(yōu)化技術(shù)，提高研究效率。后續(xù)優(yōu)圖也將繼續(xù)和英偉達(dá)展開更深度的合作，進(jìn)一步完善優(yōu)圖QAT工具，增加對TensorRT后續(xù)版本的支持，提供更加易用高效的QAT模型訓(xùn)練和部署解決方案。

　　作為騰訊旗下頂級的人工智能實(shí)驗(yàn)室，優(yōu)圖一直聚焦計(jì)算機(jī)視覺，專注人臉識別、圖像識別、OCR、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域開展技術(shù)研發(fā)和行業(yè)落地，未來將持續(xù)深耕于此，讓人工智能更好得助力產(chǎn)業(yè)數(shù)字化發(fā)展。