21世紀,是數字經濟的時代。數據已成為企業和社會最寶貴的資產。在這片前景廣闊的領域里,數據發展的歷史長河埋藏了怎樣的機遇?在未來,數據技術將往哪些方向演進?數據開發者又該如何在新時代中,找到自己的職業發展的最佳錨點?

　　2021年4月24日,由騰訊云 TVP主辦的首屆 Techo TVP開發者峰會「數據的冰與火之歌——從在線數據庫技術,到海量數據分析技術」在深圳深鐵皇冠假日酒店成功舉辦。峰會囊括數據庫、大數據兩大專題,匯聚十二位深耕數據技術領域的頂尖大咖,帶來了全天候、全方位、沉浸式的技術分享與交流,為超過500位現場參會的開發者獻上了一場“最有料、有趣、且有用”的開發者大會。

　　上午·數據庫專題

　　上午,圍繞數據庫專題,騰訊云數據庫總經理林曉斌帶來了開場致辭,云和恩墨CEO、騰訊云TVP蓋國強、騰訊云數據庫專家工程師李海翔、微眾銀行數據庫平臺室室經理、騰訊云TVP胡盼盼、騰訊云數據庫技術總監張青林進行了技術分享。

　　“分布式數據庫已經成為行業必需品,在近幾年也發展出一些新方向。“在峰會伊始,騰訊云數據庫總經理林曉斌對參會的廣大開發者表達了誠摯的歡迎,同時分享了他對于數據庫領域新動向的洞察:”在云原生大潮下,云原生數據庫為開發者們帶來了極大便利。此外,數據庫的融合型能力HTAP也是一大趨勢和挑戰。“對此,他表示騰訊云TDSQL在全國第七次人口普查的大考中交出了令人滿意的答卷,本次峰會的分享將會為開發者們勾勒數據技術發展的全景畫卷。

　　騰訊云數據庫總經理 林曉斌

　　萬象更新-數據庫技術的發展與未來

　　云和恩墨CEO、騰訊云TVP蓋國強是國內第一個Oracle ACE及ACE總監,曾出版多本數據庫技術專著,在《萬象更新-數據庫技術的發展與未來》主題分享中,他分別從工業界與學術界的視角梳理了數據庫技術發展的歷史脈絡,提出目前我們正走向”商業和開源、SQL和NewSQL交融“的新數據庫時代,在新時代,云成為了數據庫最重要的一個陣地,下一步的格局將是云的體驗云下化,最終云上和云下趨于一致。

　　云和恩墨CEO、騰訊云TVP蓋國強

　　而面向未來,企業需要怎樣的數據庫?蓋國強指出,數據庫的更迭,不是重走一次長征路,不是功能和體驗的降級,而應該是循環上升的數據庫變更升級歷程,應該是更好的開發運維體驗、故障自愈、自動化和智能化,同時兼顧投資保護、人才培育。

　　在分享的最后,蓋國強對國產數據庫浪潮之下,正處于迷茫狀態當中的數據開發者們提出了清晰的方向指引及真誠的建議:從DBA到數據庫設計、內核研發,對開發者來說,職業道路是寬廣而明亮的。面對國產化的行業變革,數據庫從業人員只有躬身入局,盡早轉型,做到“一主一備雙引擎,商用開源兩相宜”,才能夠抓住機遇,領先一步。

　　分布式數據庫的演進

　　騰訊近十年的分布式數據庫技術發展與騰訊TDSQL研發團隊所做的理論、創新方面的基礎工作息息相關,作為該團隊的核心力量,騰訊云數據庫專家工程師李海翔帶來了《分布式數據庫的演進》主題分享,全面地回顧了分布式數據庫技術的發展歷程,并層層剖析分布式數據庫架構,分布式一致性、計算與存儲技術,以及基于HTAP的TDSQL強一致性技術實踐。

　　“分布式數據庫系統的演進是由內在的、本質性的需求在推動,高可靠、高可用、高性能、易用性等基礎因素在推動著分布式技術不斷地向前發展。”李海翔從學術界、工業界的角度對比分析了分布式系統經典架構、主流技術的差異。他認為,分布式數據庫系統里技術層面最核心的一定是事務,而事務處理會產生數據異常。此外,分布式數據庫系統還面臨著缺乏一致性所帶來的挑戰。同時,新的硬件在計算、存儲上也面臨挑戰。基于這些需求,騰訊的TDSQL系統包含了分析、事務處理、強一致等特性。隨后,他詳細地展示了騰訊的TDSQL開源系統3TS如何解決數據異常問題,TDSQL研究的基礎技術,也是基于學術界的認識和業界的現有產品對于強一致的支持程度得出的結果。

　　騰訊云數據庫專家工程師 李海翔

　　分布式數據庫在微眾銀行核心系統的實踐

　　技術的發展與進步,最終還要回歸到實際的落地與應用,在分布式數據庫技術領域,TDSQL在微眾銀行核心系統的大規模實踐便是一個經典的案例。微眾銀行數據庫平臺室室經理,騰訊云TVP胡盼盼帶來了《分布式數據庫在微眾銀行核心系統的實踐》的行業實戰分享。

　　微眾銀行數據庫平臺室室經理、騰訊云TVP 胡盼盼

　　準確把握了金融行業數據庫”國產化、去中心化、開源化“的三大趨勢,微眾銀行在成立之初就確定要做單元化的分布式架構。在單元化架構之上,微眾銀行擁有2地7中心的機房IDC架構;目前所有的核心系統基本使用TDSQL承載。這樣的數據庫架構部署在高可靠、高可用等方面優點凸顯。如今微眾銀行的TDSQL規模承載了數百個銀行的核心系統,目前已達到單日峰值6億+金融交易量,10萬+最高TPS峰值。

　　未來,微眾銀行數據庫的演進方向會朝硬件國產化、云原生與容器化、智能化預警(AIops)發展。

　　騰訊云TDSQL-C架構探索和實踐

　　TDSQL是峰會中被多次提及的熱門話題,TDSQL-C作為騰訊自主研發的存儲和計算分離的數據庫產品,實現了哪些突破性的創新?騰訊云數據庫技術總監張青林帶來了《騰訊云TDSQL-C架構探索和實踐》的詳盡解析。

　　針對傳統CDB所面臨的存儲容量、拓展性、可用性、可靠性這四大方面的挑戰,騰訊云TDSQL-C應運而生。它具有海量存儲、智能擴容、線性擴充性能,兼容MySQL和PG等優異特性。這些設計源于解決用戶實際問題的需要,同時實現了幾大突破:突破Serverless場景、IO Bound性能優化、無感知備份。目前,TDSQL-C仍在不斷革新,張青林分享了后續的兩大重點發展方向:實現云時代的極簡數據庫運維,以及云時代的Low Database業務開發。

　　騰訊云數據庫技術總監 張青林

　　下午·大數據與數據分析專題

　　下午,圍繞大數據與數據分析專題,騰訊云大數據產品總經理聶晶進行了開場致辭,隨后,易觀CTO、騰訊云TVP郭煒,騰訊云彈性MapReduce技術負責人陳龍,騰訊大數據專家工程師杜立,偶數科技CEO、騰訊云TVP常雷,騰訊大數據專家工程師于華麗帶來了技術分享。在峰會的最后,由支流科技CEO、騰訊云TVP溫銘擔任主持人,五位大咖嘉賓圓桌論道,就《從行業到職業,看數據的現在與未來》這一話題展開了精彩的交流。

　　在開場致辭中,騰訊云大數據產品總經理聶晶分享了他對數據分析領域的趨勢洞見:數據分析領域正在快速演進迭代,批流一體數倉的實時化、數據湖等新技術、新架構持續涌現;大批優秀的工程師、開源組織和商業化公司持續入場,未來充滿無限可能。在聶晶看來,云已經成為企業IT發展的必經路徑,云廠商也在為數據分析領域提供更多動能。最后,他對Techo TVP開發者峰會提出了寄語與期待:”Techo TVP提供了一個很好的技術交流平臺,讓我們推進技術的普惠化與平民化,將數據分析技術有效地落地到企業發展的方方面面。”

　　騰訊云大數據產品總經理 聶晶

　　ClickHouse最新技術的實踐與應用

　　易觀CTO、騰訊云TVP郭煒帶來了《ClickHouse最新技術的實踐與應用》的主題演講,為大家分享了大數據分析引擎的黑馬 ClickHouse的“前世今生”、實踐應用、最新feature以及未來暢想。

　　易觀CTO、騰訊云TVP 郭煒

　　ClickHouse是“戰斗民族”俄羅斯搜索巨頭Yandex公司開源的一個極具"戰斗力"的實時數據分析數據庫。在全球范圍內,ClickHouse單表查詢比其他引擎要快數倍以上,在過去的4年以來未曾有對手。ClickHouse為什么會這么快?郭煒指出,這得益于其極致的向量化計算引擎、極致的列式存儲引擎,以及極致的系統研發思維和社區精神。

　　對于廣大開發者所關注的應用實戰話題,郭煒結合騰訊音樂、新浪、喜馬拉雅、B站等豐富的案例,對ClickHouse的典型特性優勢、具體使用場景進行了詳盡而生動的講解。

　　在未來,ClickHouse會在具體深入場景和結合解決客戶使用數據的最后一公里上深耕,同時,中國社區也在思考 ClickHouse的商業化道路。

　　云原生環境下大數據基礎技術演進

　　近年來,云原生變得炙手可熱,在《云原生環境下大數據基礎技術演進》的主題分享中,騰訊云彈性MapReduce技術負責人陳龍對云原生的概念給出了清晰的定義,“云原生是在源碼轉化為產品的過程中,充分利用云計算軟件交付模型,來構建和運行應用程序。”它能實現整個軟件生產的工業化,進而實現降本增效。

　　那么,如何實現大數據云原生?陳龍認為主要從以下四點出發:工業化交付、儲存與計算成本量化、負載自適應、以及面向數據。在落地的技術上,陳龍做了進一步的說明:結合云基礎設施和Hadoop生態技術棧,騰訊云的數據湖解決方案將Hadoop集群的拓撲進行了改進,分為Master、Router、Core和Task。為保障云上大數據處理的性能,騰訊云大數據提供從基礎設施硬件層到組件內核以及架構的完善的產品能力支持,即便選擇用傳統模式構建大數據應用,云主機也提供了多種硬件選擇。

　　最后,陳龍也預測了下一代大數據基礎處理引擎的形態。

　　騰訊云彈性MapReduce技術負責人 陳龍

　　對于廣大數據開發者所高度關注的,“在新時代應如何規劃自身的職業發展”的問題,作為在數據領域深耕多年的前行者,各位圓桌嘉賓對后來人真誠地提出了以下建議。

　　郭煒則運用了一個形象的比喻來進行說明:如今數據和業務、和場景的結合越來越緊密,未來的組件將百花齊放,和場景深度結合。因此,做數據的小伙伴要變成“龍”式的數據工程師,必須結合數據分析師、數據工程師、產品經理乃至運營,既要有專業知識,也要不斷學習,拓展自己的知識邊界,再加上主營的某種技術,才能成為真正的面向未來的數據工程師。

　　實時流式計算實踐與優化

　　隨著互聯網場景的不斷深入,在大數據領域除了海量數據查詢外,對數據的實時性也提出了更多更高的要求,越來越多企業將 Flink SQL作為實時計算的工具。那么在使用 Flink SQL會遇到什么痛點和挑戰?如何進行優化和擴展?騰訊云實時計算服務又有哪些最新的實踐?騰訊大數據專家工程師杜立帶來了他的分享《實時流式計算實踐與優化》。

　　騰訊大數據專家工程師 杜立

　　騰訊云實時計算服務的研發方向分為四部分:一是提供一站式的開發平臺,降低用戶的接入和學習成本。二是保證用戶實時部署前的數據正確性,開發后可直接進行線上測試。三是一站式部署,實時的計算任務可直接部署至騰訊云的TKE容器。四是提供一系列的運維工具,幫助用戶快速解決線上問題。

　　針對Flink SQL當前的痛點,杜立重點分享了騰訊在Flink SQL上所做的擴展與優化:首先是擴展語法方面,在Windowing Table-valued Function和Stream-Dimension Table Join上進行擴展,對Window內數據集進行交、并、差等操作的新語法。其次是新增窗口類型,增強了增量窗口和Tumble窗口類型,減少下游的數據接收壓力。第三是優化了回撤流性能,針對SQL兩層Group by場景、Sink場景、Outer Join場景,分別做了不同方案的優化。經過優化后向下游接收的數據量能實現30倍的減少,100萬的數據有接近20%的提升。

　　新一代云原生數據倉庫的應用

　　云原生數據倉庫,是大數據領域最前沿的趨勢之一。隨著云計算的普及,傳統的數據倉庫架構在資源彈性,成本等方面已經很難適應云原生的要求。云原生數據倉庫架構又有哪些優勢?如何充分結合云原生數據倉庫的特點來實現云上大數據應用?在《新一代云原生數據倉庫的應用》分享中,偶數科技CEO、騰訊云TVP常雷對云數倉的定義、架構、應用場景做了全面的介紹。

　　偶數科技CEO、騰訊云TVP 常雷

　　每隔15-20年,數據平臺會經歷一輪較大的技術變革,新一代的云原生數據倉庫在2015年后誕生,如今我們處于智能數據云平臺階段。提及云原生的概念,常雷認為,云原生系統的本質是“云環境中可以達到彈性可擴展、容錯性好、松散耦合、易于管理”。而云原生數據庫是在公有云、私有云和混合云等新型動態環境中,基于存儲與計算分離架構的,存儲和計算可以獨立彈性擴展、松散耦合的數據庫系統。同時,云原生數據庫還需具有高性能、高可擴展、一致性保證、符合標準、容錯、易于管理和多云支持等特性。他還以Snowflake和OushuDB的云原生數據倉庫架構為例,對以上特點進行了透徹的解析。

　　此外,常雷提出在新一代云原生架構下,數據湖正逐漸簡化,出現了“湖倉一體”的概念,一套系統就能實現數據加工、數據資產管理、數據治理、數據科學、機器學習、建模等功能,新一代數據云平臺的架構解決了傳統的多個集群、多個系統之間做ETL等復雜的問題。

　　云原生數據湖:新一代數據架構

　　“云原生數據湖架構是由傳統大數據架構上云的缺陷——存算耦合且規模固定而催生的。”,在《云原生數據湖:新一代數據架構》主題分享中,騰訊大數據專家工程師于華麗指出,面對傳統架構成本高、靈活性低、性能差、可靠性不高的痛點,應對的核心是公有云共享經濟的兩大機遇——彈性計算和對象存儲。云原生數據湖架構就是充分結合云上彈性計算、對象存儲優勢和大數據前沿數據湖技術,構建高性價比、高性能的大數據平臺。

　　但目前云原生數據湖的構建成本高、難度大,要解決數據湖架構彈性計算、對象存儲、性能補償中的諸多問題,從0打造云原生數據湖,需要專業的公有云背景和數據湖技術能力,而騰訊云推出兩款開箱即用的數據湖產品,能夠幫助客戶快速構建和分析數據湖。

　　騰訊大數據專家工程師 于華麗

　　騰訊云原生數據湖產品具有以下多種優勢:

　　成本低:極致彈性計算、對象存儲5-10倍,成本低;

　　性能高:對象存儲解決小文件問題、緩存加速、稀疏索引、shuffle性能、commit性能高;

　　免運維:Serverless形態降低了運維負擔;

　　統一和開放:統一數據湖存儲、統一元數據減少一致性維護工作;聯邦分析、數據湖解決方案滿足數倉建模、數據分析甚至機器學習。

　　從行業到職業,看數據的現在與未來

　　在精彩的演講分享后,支流科技CEO、騰訊云TVP溫銘擔任主持人,提出有關Apache基金會大數據項目的“冷與熱”、大數據技術的未來演進趨勢、如何平衡云廠商和開源社區、開源商業公司之間的關系、國內“Snowflake”的誕生條件等頗具前沿性的話題,與常雷、郭煒、陳龍、李海翔四位分享嘉賓齊聚一堂,展開了主題為《從行業到職業,看數據的現在與未來》的深度圓桌對話。

　　支流科技CEO、騰訊云TVP 溫銘

　　圓桌論壇

　　對于廣大數據開發者所高度關注的,“在新時代應如何規劃自身的職業發展”的問題,作為在數據領域深耕多年的前行者,各位圓桌嘉賓對后來人真誠地提出了以下建議。

　　李海翔指出,熱愛是最好的驅動力,“專注”是最重要的品質,堅持在喜愛的行業或方向中深耕,時間久了自然而然會有所獲,有所成。我們說“因為相信,所以看見”。而同時到了今天,更重要的是“因為看見,所以相信”,我們通過十數年的堅持,在分布式數據庫技術創新上有所發展,今天我們已經看到了它的價值和未來,所以我們可以相信,它將有更大的創新和未來,這是驅使我們將一直堅持和投入的基礎。

　　陳龍認為,在大數據領域,數據開發者可以根據三個方向來規劃自身的職業發展:第一是內核方向,如分布式存儲、分布式計算等偏底層技術方向。第二是數據架構師,既了解云產品,也了解公司業務,根據業務去規劃或使用云產品來解決問題。第三是數據科學家,真正利用機器學習、算法,以底層支撐的能力去挖掘數據之間的關系,進而實現通過數據給企業帶來價值。

　　郭煒則運用了一個形象的比喻來進行說明:如今數據和業務、和場景的結合越來越緊密,未來的組件將百花齊放,和場景深度結合。因此,做數據的小伙伴要變成“龍”式的數據工程師,必須結合數據分析師、數據工程師、產品經理乃至運營,既要有專業知識,也要不斷學習,拓展自己的知識邊界,再加上主營的某種技術,才能成為真正的面向未來的數據工程師。

　　而在常雷看來,中國現在比較缺的是底層的內核開發人才,而內核是需要沉淀的,在這一領域持續深耕、熟悉技術原理、有經驗的開發者未來將得到很好的回報。

　　最后,溫銘總結道,開發者既要“仰望星空”,也要“腳踏實地”,一方面可以多參加像 Techo TVP開發者峰會這樣的活動,了解業界在使用什么技術,比起埋頭做業務,技術上的交流和探討會帶來更多有價值的東西。另一方面,做基礎的技術研究會非常有價值,我們可以在上面精細深耕,創造一些不僅能給自己公司、業務帶來價值的事,也能給其他公司、給整個數據領域帶來進步的產品。

　　結語

　　本次 Techo TVP開發者峰會還為開發者們準備了豐厚的禮品和精致可口的茶歇,在認真聆聽大咖的技術干貨之余,大家也熱情高漲地參與了拍照打卡、游戲互動。同時,峰會也在線上多渠道進行了同步直播,在直播間、技術社群中,開發者們也進行著熱烈的交流和討論,峰會收獲了來自參會嘉賓、開發者們的廣泛好評。

　　參會嘉賓與開發者合影

　　正如騰訊云數據庫專家工程師李海翔所言,騰訊有豐富的數據庫產品,其中部分基于開源項目開發,同時騰訊也在回饋社區、擁抱開源。不僅是產品,騰訊還在推動基礎研究的技術開源與思想的開源,希望在未來形成良性互動的,更好的互生模式。

　　作為騰訊云 TVP專門為開發者舉辦的大型技術交流盛會,未來,Techo TVP開發者峰會將繼續攜手領域大咖,通過最用心的分享、最前沿的洞察、最實際的觀點,為開發者們獻上一場場“最有料、有趣、且有用”的開發者峰會。騰訊云 TVP將始終秉承著“用科技影響世界”的使命,推動技術普惠化、平民化,踐行科技向善的初心和本心。

　　TVP,即騰訊云最具價值專家(Tencent Cloud Valuable Professional),是騰訊云授予云計算領域技術專家的一個獎項。TVP計劃致力打造與行業技術專家的交流平臺,構建云計算技術生態,實現“用科技影響世界”的美好愿景。