近年來，隨著視頻處理和通信技術(shù)的飛速發(fā)展，音視頻實時通訊的應(yīng)用已經(jīng)深入到生活的方方面面。從游戲直播、銀行視頻開戶、線上教育、直播帶貨再到視頻會議等，各種應(yīng)用場景隨處可見。

　　在這些場景中，視頻畫面是否清晰、流暢、視頻延時是否足夠小，是影響用戶體驗的關(guān)鍵因素。當(dāng)你在觀看游戲直播或者參加在線課程的時候，難免會遇到視頻卡頓、花屏、延時大、不清晰這些問題。那么你知道是什么原因?qū)е铝诉@些問題嗎?事實上，盡管相關(guān)廠商一直在致力于改進(jìn)用戶體驗，但你仍然會時不時的碰到讓人頭痛的場景。今天的這篇文章將會帶你挖掘這些問題背后的原理，也讓你了解視頻服務(wù)提供商在面對這些“難搞”的問題時做了哪些努力。

　　為了便于理解，我們把一個視頻傳輸鏈路簡化成圖1所示，前端的成像系統(tǒng)進(jìn)行現(xiàn)場畫面的圖像采集、編碼，然后以特定的網(wǎng)絡(luò)協(xié)議把碼流發(fā)送出去，視頻數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)服務(wù)器的路由和傳輸之后到達(dá)接收端，在接收端進(jìn)行解碼、渲染，還原采集端的現(xiàn)場畫面。

　　圖1 視頻采集傳輸鏈路

　　清晰度

　　影響視頻清晰度的主要因素是傳感器成像時的圖像分辨率和編碼時的碼率。對應(yīng)同樣大小的成像區(qū)域，采集圖像的分辨率越高意味著更多的細(xì)節(jié)被傳感器捕捉到。大多數(shù)情況下，我們可以簡單的認(rèn)為4K視頻比1080P的視頻更清晰。而由于目前的視頻編碼全部都是有損編碼，碼率越高也就意味著編碼時損失掉的細(xì)節(jié)越少。當(dāng)然，隨著視頻編碼算法的持續(xù)改善，一些更先進(jìn)的編碼算法能夠在保持圖像質(zhì)量的同時盡可能的降低碼率，但這也意味著編碼復(fù)雜度的增加和由此帶來的硬件成本增長。

　　流暢度

　　編碼之后的視頻碼流要在網(wǎng)絡(luò)上傳輸，由于發(fā)送端和接收端之間的網(wǎng)絡(luò)環(huán)境存在大量不確定因素，網(wǎng)絡(luò)抖動幾乎無法避免，“生產(chǎn)者”和“消費者”之間無法達(dá)到絕對意義上的平衡就會出現(xiàn)堵塞或丟包。如果把網(wǎng)絡(luò)比作高速公路，把網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)流比作“汽車”，那么視頻碼流的碼率越高，就意味著同樣的“道路”上要跑更多的“汽車”，堵車的概率也就越大，幾乎必然會帶來視頻卡頓、丟幀等現(xiàn)象，從而導(dǎo)致視頻不流暢。

　　延時

　　從圖1的數(shù)據(jù)流向我們可以看到，在采集端、網(wǎng)絡(luò)傳輸中、接收端都會產(chǎn)生延時。

　　攝像頭采集圖像時，sensor成像需要曝光和掃描時間，通常每秒30幀的視頻至少會產(chǎn)生33ms的延時，也就是一幀圖的時間。sensor采集到的數(shù)據(jù)送給編碼器進(jìn)行編碼也會有延時，編碼本身是一個復(fù)雜的過程，并且通常圖像分辨率越高，編碼延時越長。盡管目前絕大多數(shù)場景下都會使用硬件編碼器，但編碼延時仍然是一個可觀的數(shù)字，通常達(dá)數(shù)十毫秒。

　　端到端的網(wǎng)絡(luò)傳輸需要遵循一定的網(wǎng)絡(luò)協(xié)議，因為存在大量的路由轉(zhuǎn)發(fā)、協(xié)議解析，延時自然也無法避免，當(dāng)然不同的網(wǎng)絡(luò)協(xié)議帶來的延時也是不同的。

　　接收端收到數(shù)據(jù)后首先會進(jìn)行解碼，這是編碼的逆過程，延時長短取決于解碼器的性能。普通性能的x86電腦解一幀高清圖像需要幾毫秒，而如果是在普通的手機(jī)上播放視頻，則需要10毫秒左右才能解碼一幀。接下來是渲染，也就是把視頻數(shù)據(jù)在顯示器中展示出來。一般情況下渲染的延時比較小，但如果考慮到系統(tǒng)硬件性能或音視頻同步的要求，延時也可能增加。

　　看到這里，細(xì)心的讀者可能會發(fā)現(xiàn)一些有意思的聯(lián)系，那就是清晰度、流暢度、延時這三個因素是相互關(guān)聯(lián)、相互約束的，想做到“既要又要還要”是很困難的。

　　圖2  三因素相互約束的示意圖

　　通常情況下，可以通過提升視頻分辨率和碼率來獲得更好的視頻清晰度，選擇合適的流媒體傳輸協(xié)議也能夠改善視頻的流暢性和延時，比如RTMP(Real-Tune Messaging Protocol)就比HLS(Http Live Streaming)的實時性更好。單獨優(yōu)化某個性能指標(biāo)并不困難，難點在于不同指標(biāo)之間的相互約束，比如：降低碼率可以減少卡頓，提升流暢度并降低傳輸延時，但這也意味著會損失圖像質(zhì)量，讓用戶失去觀看高清視頻的體驗，甚至丟失有價值的細(xì)節(jié)信息。又比如：增加網(wǎng)絡(luò)傳輸?shù)木彌_區(qū)可以提升流暢度，但相應(yīng)的延時就會加大。另外，在不同應(yīng)用場景下這些指標(biāo)的重要性也有差異，需要結(jié)合實際需求來提高某個指標(biāo)的優(yōu)先級。

　　接下來我們考慮一個特定的視頻應(yīng)用場景------一體化融合指揮調(diào)度系統(tǒng)。在這樣一個用戶數(shù)和設(shè)備數(shù)眾多的系統(tǒng)中，由于終端設(shè)備五花八門，視頻采集端可能會有監(jiān)控攝像機(jī)、4G/5G布控球、執(zhí)法記錄儀、智能眼鏡、智能頭盔、無人機(jī)等，顯示端可能會有調(diào)度臺、手持終端、平板等，這些設(shè)備的視頻編解碼性能參差不齊，同時不同帶寬、不同穩(wěn)定性的有線網(wǎng)絡(luò)、蜂窩網(wǎng)絡(luò)、Mesh及衛(wèi)星網(wǎng)絡(luò)融合在一起，這時候如果仍然采用單一碼率的視頻流和固定的分發(fā)策略，并想要保持視頻的流暢性、減少卡頓，將會是一件非常困難的事情。

　　圖3  一體化融合指揮調(diào)度系統(tǒng)架構(gòu)圖

　　上圖是一個典型的一體化融合指揮調(diào)度系統(tǒng)。在這個系統(tǒng)中，視頻預(yù)覽的動作通常是用戶通過客戶端發(fā)起，當(dāng)用戶需要預(yù)覽設(shè)備的實時視頻時，會先向監(jiān)控平臺發(fā)起預(yù)覽視頻的命令，平臺再向設(shè)備發(fā)起指令，然后設(shè)備將編碼之后的高清視頻流發(fā)送給平臺，平臺再進(jìn)一步下發(fā)給客戶端。此時，當(dāng)有另一個客戶端需要預(yù)覽同一個設(shè)備的視頻時，同樣的，會首先向監(jiān)控平臺發(fā)起預(yù)覽視頻的命令，平臺發(fā)現(xiàn)之前已經(jīng)向該設(shè)備申請過視頻流了，便直接將已有的高清視頻流分發(fā)給新的客戶端，而不是重新創(chuàng)建新的視頻流。

　　這種做法雖然保證了平臺和設(shè)備之間只有一條高清視頻流，能夠減輕設(shè)備端的編碼壓力，但忽略了網(wǎng)絡(luò)狀況差異帶來的影響。在整條通信鏈路上我們從平臺的角度將網(wǎng)絡(luò)分為兩部分：一部分是設(shè)備端(采集端)與平臺之間的視頻上傳，另一部分是平臺與客戶端(顯示端)之間的視頻分發(fā)。任意一個部分的網(wǎng)絡(luò)狀況變差時，都會引起視頻卡頓和延時。

　　為了解決這一難題，睿極智能做了大量的前沿探索和開創(chuàng)性研究，提出了一種網(wǎng)絡(luò)自適應(yīng)流媒體分發(fā)系統(tǒng)。該系統(tǒng)的架構(gòu)如圖4所示，它的工作流程可以簡要描述如下：

　　圖4  網(wǎng)絡(luò)自適應(yīng)流媒體分發(fā)系統(tǒng)

　　(1)客戶端需要預(yù)覽設(shè)備的視頻時，首先向負(fù)載均衡器發(fā)送命令，負(fù)載均衡器判斷是否已經(jīng)在預(yù)覽該設(shè)備的二級視頻流，如果是，直接返回對應(yīng)的二級分發(fā)器的地址即可;否則，選擇一個負(fù)載最小的二級分發(fā)器返回。

　　(2)客戶端使用負(fù)載均衡器返回的地址與二級分發(fā)器建立視頻流的傳輸通道。

　　(3)二級分發(fā)器如果沒有在分發(fā)視頻流，則向負(fù)載均衡器發(fā)送預(yù)覽視頻的命令，負(fù)載均衡器判斷是否已經(jīng)在預(yù)覽該設(shè)備的一級視頻流，如果是，直接返回對應(yīng)的一級分發(fā)器的地址即可;否則，選擇一個負(fù)載最小的一級分發(fā)器返回。

　　(4)一級分發(fā)器與設(shè)備建立視頻流的傳輸通道，一級分發(fā)器從設(shè)備獲取到合適的視頻流后，將視頻流發(fā)送給二級分發(fā)器。

　　(5)二級分發(fā)器從一級分發(fā)器獲取到視頻流后，進(jìn)行處理，再將處理后視頻流推送給客戶端。

　　自適應(yīng)流媒體分發(fā)系統(tǒng)的關(guān)鍵就在上述的第4步和第5步。

　　在第4步中，設(shè)備與一級分發(fā)器建立傳輸通道后，會在最初的若干毫秒內(nèi)發(fā)送隨機(jī)測試數(shù)據(jù)，計算出傳輸通道的初始網(wǎng)絡(luò)狀況，并根據(jù)網(wǎng)絡(luò)的帶寬、丟包率等選擇最合適的分辨率、幀率和碼率。同時，設(shè)備每隔一段時間就重新計算一次傳輸通道的網(wǎng)絡(luò)狀況，如果連續(xù)若干次計算出的網(wǎng)絡(luò)狀況都與之前的網(wǎng)絡(luò)狀況差別較大，則重新選擇最合適的分辨率、幀率和碼率。這樣，就對設(shè)備與一級分發(fā)器之間的流媒體傳輸通道進(jìn)行了自適應(yīng)。

　　在第5步中，二級分發(fā)器與客戶端建立傳輸通道后，會在最初的若干毫秒內(nèi)發(fā)送隨機(jī)測試數(shù)據(jù)，計算出傳輸通道的初始網(wǎng)絡(luò)狀況，并根據(jù)網(wǎng)絡(luò)的帶寬、丟包率等選擇最合適的分辨率、幀率和碼率。如果選擇的分辨率、幀率和碼率對應(yīng)的視頻流已經(jīng)在預(yù)覽，則直接分發(fā)給客戶端即可。否則，將從一級分發(fā)器獲取的視頻流解碼成原始圖像數(shù)據(jù)，然后重采樣成選擇的分辨率，最后再使用選擇的碼率和幀率編碼成新的視頻流，并推送給客戶端。這樣，就對客戶端與二級分發(fā)器之間的流媒體傳輸通道進(jìn)行了自適應(yīng)。

　　對4G/5G車載設(shè)備實際路測發(fā)現(xiàn)，在進(jìn)入涵洞、橋梁、高樓、隧道、電梯等附近時，設(shè)備與一級分發(fā)器之間的網(wǎng)絡(luò)帶寬迅速降低至幾百kbps，甚至幾十kbps，同時網(wǎng)絡(luò)丟包率大幅上升。未采用自適應(yīng)流媒體分發(fā)系統(tǒng)前，客戶端預(yù)覽的視頻往往會卡頓好幾秒，甚至幾十秒，嚴(yán)重影響了用戶的使用體驗。采用自適應(yīng)流媒體分發(fā)系統(tǒng)后，客戶端預(yù)覽的視頻基本不存在卡頓現(xiàn)象，非常流暢，延時也比較低，畫面清晰度尚可(碼率被一級分發(fā)器適當(dāng)降低了)。當(dāng)網(wǎng)絡(luò)狀況恢復(fù)后，客戶端預(yù)覽視頻的清晰度也會自動提升(碼率被一級分發(fā)器適當(dāng)升高了)。

　　對手機(jī)/平板等客戶端實際路測發(fā)現(xiàn)，在進(jìn)入涵洞、橋梁、高樓、隧道、電梯等附近時，客戶端與二級分發(fā)器之間的網(wǎng)絡(luò)帶寬迅速降低至幾百kbps，甚至幾十kbps，同時網(wǎng)絡(luò)丟包率大幅上升。未采用自適應(yīng)流媒體分發(fā)系統(tǒng)前，客戶端預(yù)覽的視頻延時特別大，達(dá)到幾十秒，畫面也會卡頓住，偶爾刷新一下，還會出現(xiàn)馬賽克現(xiàn)象。采用自適應(yīng)流媒體分發(fā)系統(tǒng)后，客戶端預(yù)覽的視頻基本不存在卡頓現(xiàn)象，非常流暢，延時也比較低，畫面清晰度尚可(碼率被二級分發(fā)器適當(dāng)降低了)。當(dāng)網(wǎng)絡(luò)狀況恢復(fù)后，或者對于網(wǎng)絡(luò)狀況良好的客戶端，其預(yù)覽的視頻畫面則是高清、甚至超高清的(碼率被二級分發(fā)器適當(dāng)升高了)。

　　綜上，自適應(yīng)流媒體分發(fā)系統(tǒng)采用精準(zhǔn)的網(wǎng)絡(luò)狀況評估算法和負(fù)載均衡算法，在設(shè)備端自適應(yīng)設(shè)備與一級分發(fā)器之間的網(wǎng)絡(luò)傳輸通道，在二級分發(fā)器端自適應(yīng)二級分發(fā)器與客戶端之間的網(wǎng)絡(luò)傳輸通道，大幅降低了客戶端視頻出現(xiàn)卡頓、延遲和丟幀等現(xiàn)象的概率，顯著改善了用戶預(yù)覽視頻，特別是超高清視頻時的體驗。

　　通過上面的分析和總結(jié)我們可以發(fā)現(xiàn)，平臺的流媒體分發(fā)機(jī)制是整個架構(gòu)中影響視頻效果的關(guān)鍵因素。睿極智能自主研發(fā)的可視化融合指揮調(diào)度平臺以視頻業(yè)務(wù)為核心，基于“實時視頻監(jiān)控+融合指揮調(diào)度”雙引擎，在傳統(tǒng)安防視頻監(jiān)控基礎(chǔ)功能之上，創(chuàng)新性的融入了指揮調(diào)度、視頻會商以及智能視覺分析三大業(yè)務(wù)體系，極大的豐富了無線視頻的應(yīng)用場景。平臺具有“分布式、高安全、高可靠、大容量、可伸縮、易管理”等先進(jìn)的設(shè)計理念，同時運(yùn)用了上述網(wǎng)絡(luò)自適應(yīng)流媒體分發(fā)系統(tǒng)，能夠為用戶提供流暢的超高清實時視頻傳輸服務(wù)。

　　作為視頻物聯(lián)網(wǎng)基礎(chǔ)應(yīng)用的專業(yè)提供商，睿極智能將繼續(xù)不斷提升核心技術(shù)的積累，在視頻編碼、圖像質(zhì)量、低延時流媒體傳輸協(xié)議、弱網(wǎng)環(huán)境下的視頻傳輸算法等領(lǐng)域持續(xù)創(chuàng)新，迎合更多場景的業(yè)務(wù)需求，為用戶提供最佳的產(chǎn)品體驗。