每一個線上大型活動的背后都離不開云廠商的支撐。
京東官方數據顯示,作為中央廣播電視總臺《2024年春節聯歡晚會》獨家互動合作平臺,總臺春晚期間,用戶在京東的互動量超552億次。
552億次的互動背后,是對云計算資源的持續調動,也是對云廠商的一次考驗。
在類似春晚的全國性節目中,極端的大流量往往是云計算廠商們難以承受的。過往,云計算廠商大都會選擇提前準備更多的服務器資源,但今年,京東云卻走出了不一樣的路徑。
2023年,國內大模型領域風起云涌,大模型的出現,給云計算的發展帶來了全新的機遇。以大模型算力為云的基本盤,通用大模型和行業大模型已經成為云廠商們研究的重中之重。
可以說AI大模型的誕生激勵著云計算廠商們開啟第二波增長曲線,并推動它們塑造出了云計算應用服務新范式,但在加快技術研究的同時,如何將大模型融入現有的云計算產品,并實現應用已經成為當下云廠商們面臨的共同課題。
而在這次春晚中,京東云所實踐的正是大模型賦能云計算的一次規模化落地。
1、時代變了,向技術要底氣
在這次春晚中,京東云的任務除了要承接春晚流量的暴增,還要在節目的進行中設計各種玩法為海內外受眾送上1億份實物好禮和30億的紅包,但準備時間卻只有16天。
自2015年起,線上的大型節目便成了大廠爭奪的流量戰場,面對春晚這種數十億量級的流量沖擊,云廠商們能做的就是盡量拉長準備時間。一方面服務器集群基礎上擴容,另一方面拉上數百人規模的運維團隊整裝待發。
所以,在過往的大型線上活動中,云計算廠商們打的是資源之戰。
但這個解決方式背后存在著大量的浪費,而不止局限于當下的大型節目中,行業中云浪費已經成為常態化的現象。
中國信通院發布的《云計算白皮書》顯示,企業常常在云上購買不需要的服務,導致底層云資源對上層業務盲目支撐,費用預算通常超出預期,用云成本難以控制。近年來,伴隨云計算在中國企業中的加速普及,由“迫切上云”到“更好用云”成為新趨勢。
京東云敏銳地觀察到了這一趨勢,并試圖通過向技術要效率來實現“上云”價值的顛覆。
據京東云相關負責人稱:“同樣的場景、更多的流量,我們計算資源的總量是一定的,這就需要極致地精打細算,每個應用都必須在有限的資源下發揮極致效率”。
因此,在面對春晚這樣的大型活動中,京東云創新性地選擇用智能技術來提升資源的利用率。
具體來看,京東云首先上線了“春晚保障AI指揮官”,通過大模型等新一代人工智能技術,把春晚保障工作及相應系統進行了統籌。
在算力層面,基于AI大模型的加持,京東云以更為彈性的方式在不同的場景中釋放了更強的算力,從而給春晚智能化保障提供更堅實的支撐底座。
據京東云方面測算,通過接入AI能力,提升了30%資源利用率,從而大幅降低了保障成本。而這也意味著,原本需要依托于增加服務器而承接爆發流量的云,可以在智能分配的邏輯下實現資源的最大化利用。
也就是說,京東云通過給自研的混合多云操作系統云艦接入大模型能力,從而實現了從傳統堆資源的向精細化調度的升級,通過AI精準預測流量,京東云實現了計算資源和高并發流量的精準匹配。
值得一提的是,此次春晚互動保障中,憑借最新的智能算法,云艦可基于應用歷史數據提取其資源使用特征,形成應用畫像,對未來一段時間的任務調度進行實時動態預測,極大減少在線業務與離線業務間的資源競爭,從而有效提升CPU利用率,讓先進計算最大化發揮功效。
2、當大模型賦能“預測”
彈性資源的極致調度是京東云技術的分配所實現的,但在這之前,如何精準預測流量至關重要。
眾所周知,大模型是指具有大規模參數和復雜計算結構的機器學習模型。這些模型通常由深度神經網絡構建而成,擁有數十億甚至數千億個參數。
也就是說,大模型具有更大的存儲容量和更強的計算能力,能夠吸收并處理更大規模的數據集。通過對這些數據的學習和歸納,大模型可以逐漸優化自己的預測能力,也能進一步提升準確度。
在“預測”這個被前置的環節中,隨著人工智能大潮,生成式AI分析逐步嶄露頭角,其“大模型+大量數據”的組合為用戶提供了前所未有的洞察力和預測能力,從而能夠實現復雜的任務和數據的高效處理。
相比傳統的流量預測邏輯,大模型基于數據模型的龐大能夠實現更為精準預測。而在其中,大模型自然成為流量預測的關鍵技術之一。
以京東云在春晚中的表現為例,通過分析歷史數據和虎年春晚保障經驗,繪制更精準更敏捷的流量地圖,基于數千個數據維度,對春晚流量進行評估和預測,京東云實現了超95%的預測準確率。在實際落地的過程中,能夠保證核心流量接入以及轉化均在預期之內。
具體到目標的實現,在制定春晚1億好物策略時,運營人員根據精準預測流量大小、預判到了用戶訪問輪次分布。同時基于交互式策略畫布,在5分鐘內,就實現了用戶策略的生成并上線。
在大型活動中,往往涉及全鏈路的調度,因此在全鏈路中實現前置預測至關重要。在此次春晚中,京東云做到了這一點,除了對互動行為進行全鏈路預測,還實現了實時調整流量分配,進行資源擴縮容。
京東云方面透露,當第一輪實際流量與預測不符時,自動調整后續幾輪的紅包策略,確保流量平穩分配,核心流量接入以及轉化在預期內,更高效地服務零售、物流環節整體供應鏈履約。
值得一提的是,在這次春晚中,京東云同樣依托于大模型進行了創新的探索。比如,京東研發了Force Bot全鏈路軍演機器人和故障分析大模型,Force Bot是制造問題的高手,故障分析大模型則是解決問題的高手。
在春晚實際應用之前,Force Bot通過模擬海量用戶搶紅包、購物等行為,制造了大量的真實流量,對壓測系統形成高并發壓力,提高了壓測結果的真實性和準確性。Force Bot還在逐步引入AI技術,以此實現了對各個系統的流量值的預測,并給出了資源分配的建議。
3、打造一朵“智算云”
AI原生時代,各行各業對于計算服務的需求正在從傳統的云計算向“智算云”轉移。面向大模型進行云計算基礎設施體系的重構是當下云廠商不得不推進的工作。
京東云在春晚的歷練場上走出了云廠商們的第一步,它以實際落地的戰績向外界展示了“智算云”的前景和能力。
打造“智算云”與時代發展方向契合,據Silicon ANGLE統計。過去10個月云計算的預算變化與AI支出增長呈高度正相關性,整體云計算預算隨AI支出快速增長。
因此,AI大模型對提高云服務商的競爭力至關重要,但與此同時,在大模型應用驅動下,國內云計算進入新一輪技術升級及應用擴展的關鍵時期。
云計算服務商必須加快變革,除了在底層架構、運維體系以及云原生轉型等方面加速創新,還要在應用和產品層面不斷創新,以此為企業提供更加敏捷、高效的數字化解決方案。
目前,國內外云廠商早已開始布局AI大模型發展,基于AI大模型的云服務應用也已成為云服務商的必爭之地。
2023年7月中旬,京東云在2023京東全球科技探索者大會暨京東云峰會上推出了以云計算為技術底座的大模型數字基礎設施矩陣,包括言犀AI開發計算平臺、混合多云操作系統云艦3.0等。
作為第一批快速進入“智算云”轉型之路的云服務商,京東云打造的數智算力矩陣,從硬件基礎設施到智算集群,再到MaaS服務,提供了一站式的大模型服務能力。
不只是京東云,從模型發展上看,國內大模型爭相發布,截至當下,國內大模型數量已逾200個。
而隨著各家云服務廠商大模型的成熟,大模型云服務在今年開始進入產業落地的關鍵時期,正廣泛應用于數字人、金融、教育等多個領域,加速孵化創新應用場景和服務產品,全方面改造各業務場景。
可以說大模型為云計算帶來全新的活力生機,云計算正在演變成為新時代的平臺,向下整合硬件,向上對接大模型。
在其中,云廠商更應該做好云平臺,構建云生態,并真實落地于產業之間。就像京東云這樣,在每一場實際的應用中讓大模型云服務的能力發揮到極致。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
海報生成中...
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。