騰訊雲大資料榮獲“2022技術卓越獎”，深入其背後的原因

隨著數字經濟的蓬勃發展，產業數字化程式持續推進，資料技術擁有了廣泛的端到端應用場景，而藉助資料技術可以實現從資料到資訊、從資訊到知識、從知識到決策的轉換，助力實體經濟的創新發展。IDC預計，到2026年，全球大資料市場的IT總投資規模將增至4491.1億美元，實現約15.6%的複合增長率。

具體到技術層面，《IDC聚焦報告：2022年雲上產品演進趨勢》中指出，實體經濟發展離不開資料支援，而與雲原生技術相結合的大資料、資料治理、數智融合與隱私計算，在解決大資料技術門檻、運維部署等問題方面的突出作用持續受到關注，企業真正需要的是一套“開箱即用”的雲原生產品服務。

騰訊雲大資料恰好提供了這樣一套產品，它是基於騰訊海量業務打造的世界領先級大資料產品生態體系。截至目前，騰訊雲大資料的算力規模已經突破千萬核，日實時計算量達百萬億級、日執行容器數超億級，日計算資料量數百PB，服務的企業客戶數超2萬家，開源社群程式碼貢獻量超800萬行。

前不久，由ITPUB、IT168聯合主辦的《技術改變世界 創新引領未來——2022技術卓越獎》，評選結果正式揭曉，騰訊雲大資料團隊憑藉領先的技術優勢、豐富的使用者服務經驗、開放的生態理念，斬獲了2022年度“技術卓越獎”和“創新產品獎”兩項大獎。這也意味著騰訊雲大資料的應用創新與建設能力又一次得到了權威認可。

其中，“技術卓越獎”是表彰騰訊雲大資料在前沿技術上的不斷追求與突破。騰訊雲大資料開源了社群頂級專案資料整合Inlong、機器學習Angel等八大專案，在Ceph、JDK、Ozone等專案上的貢獻第一，以及在雲原生資料湖架構、自適應智慧計算、Angel PowerFL隱私計算框架、超大型場景下的智慧推薦技術等眾多核心自研技術模組都取得了重大突破。

騰訊雲大資料雲資料倉儲CDW則脫穎而出拿下“創新產品獎”。雲資料倉儲CDW產品線下既有自研的MPP數倉引擎，核心模組全部自研，自主可控，符合國家信創要求;也有完全相容Clickhouse、Doris這類開源元件的實時引擎，CDW在開源元件的能力基礎上推出全新的雲原生彈性版，採用全新存算分離架構，自研表引擎，天然具備更優雅的彈效能力，大幅提升效能並且能夠節省成本。

探索騰訊雲大資料的演進之路

追溯騰訊雲大資料的發展歷程，我們不難發現可以分為四個階段。從第一代的離線計算，到第二代的實時計算，再到第三代的機器學習，發展到如今以隱私計算、數智融合和雲原生為代表的第四代。經過多年的經驗積累與技術沉澱，騰訊雲大資料逐步建立了獨特的差異化競爭優勢，實現產品的迭代創新及應用落地。

自2009年起，騰訊雲大資料就開始海量大資料處理的探索，第一代大資料平臺依託Hadoop生態，圍繞著離線計算模式化進行業務場景最佳化，構建出能夠穩定支撐小時/天級別的計算任務資料處理平臺。三年時間裡，騰訊雲實現從關係型資料庫到自建大資料平臺的全面遷移。

時間來到2012年，PC網際網路向移動網際網路的進化，對業務計算能力提出更高的要求。基於此，騰訊雲透過引入Spark、Storm、Flink等實時計算處理框架，讓大資料平臺處理效能邁入毫秒級別，可以實時洞察使用者行為，提升社交廣告點選率，推動平臺迭代至以實時計算為特色的第二代。

隨著深度學習技術的興起，騰訊雲大資料團隊從2015年開始從0到1自研機器學習框架Angel，以及一站式AI開發平臺智慧鈦TI，專攻複雜計算場景，可進行大規模的資料訓練，支撐內容推薦、廣告推薦等AI應用場景，推動國內大資料處理正式進入機器學習時代。

2019年迄今，騰訊雲大資料邁進了以隱私計算、數智融合和雲原生為代表的第四代，透過引入批流融合、資料湖、聯邦學習等新型技術，圍繞安全、智慧、統一等能力打造第四代數智融合計算平臺，以統一的資料處理引擎更高效地挖掘資料價值，為開發者、企業、以及政府的數字化、智慧化升級打下堅實基礎。

剖析騰訊雲大資料的產品矩陣

騰訊雲副總裁黃世飛在首屆騰訊雲大資料峰會暨Techo TVP開發者峰會上表示，“基於全新的技術架構、資料治理理念，以及產品能力，從底層的大資料基礎引擎、中層的一站式大資料開發治理平臺，再到上層的智慧推薦、隱私計算和BI應用，騰訊雲已經構築了國內領先的大資料產品矩陣。”

▲騰訊雲大資料產品矩陣

底層的彈性MapReduce(EMR)、Elasticsearch Service(ES)、雲資料倉儲CDW、資料湖計算DLC、流計算Oceanus等構成了騰訊雲大資料的雲原生基礎引擎，可為使用者快速高效構建企業級資料分析技術架構，提供在海量資料實時分析場景下的極速體驗。

中層的一站式大資料開發治理平臺 Wedata，基於業內領先的DataOps資料開發模式, 透過協同、效率、一體三大核心優勢, 實現了資料整合、資料開發、任務運維的全鏈路DataOps資料開發能力，以及資料地圖、資料質量、資料安全等資料治理和運營能力，幫助企業在資料構建與應用過程中提高資料開發效率，提升資料質量，建立常態化資料運營能力，實現資料價值增長。

上層的資料應用與視覺化則是依託騰訊雲自身豐富的業務場景所打造的一系列SaaS化資料應用，包括智慧推薦平臺、隱私計算、騰訊雲BI、移動推送、產業分析等，構建應用層資料安全與全鏈路增長解決方案。無論是基於資料的各類分析，還是智慧推薦，它們都是企業數字化轉型的最終“落腳點”之一。

騰訊大資料處理套件TBDS則是針對私有云場景，基於騰訊多年海量資料處理經驗，整合騰訊內部大資料技術能力，將雲端大資料產品能力完全復刻的，面向資料全生命週期的企業級大資料雲平臺。客戶可以藉助 TBDS ，根據不同資料處理需求選擇合適的大資料分析引擎和相應的資料開發治理工具，構建資料倉儲、使用者畫像、精準推薦、風險管控等大資料應用服務。

揭秘騰訊雲大資料的落地實踐

所謂，寶刀方從磨礪出，梅花香自苦寒來。如此豐富的騰訊雲大資料產品矩陣，還需切實落地到場景中才能看到成效。截至目前，騰訊雲大資料產品已經成功應用在政務、金融、能源、地產、工業、網際網路、媒體、醫療、教育、出行等多個領域，幫助千行百業的客戶實現數字化轉型。

在金融行業，騰訊雲與中信建投證券聯合上線證券行業首個國產化大資料平臺。該平臺全面基於騰訊大資料套件TBDS，從編譯環境搭建、部署適配、功能驗證等多維度出發，深度滿足使用者的國產化需求，加快金融行業實現全面自主可控的程式，高效提升業務服務質量，為金融行業高質量發展開啟新思路。

在電力行業，騰訊雲大資料TBDS團隊基於騰訊內部業務場景最佳化後的大資料元件，為南方電網提供效能最佳化引數。深入南方電網的業務場景，協助設計新業務架構，透過構建統一資料湖，將各業務資料統一歸集到資料湖底座，資料服務層作為資料中心對外提供服務能力的應用層，有效加速資料應用的融合。

在製造行業，騰訊雲基於大資料，助力三一重工數字化轉型。三一重工透過與騰訊雲的雲端計算能力相結合，把分佈全球的30萬臺裝置接入平臺，實時採集近1萬個執行引數，利用雲端計算和大資料，遠端管理龐大裝置群的執行狀況，不僅實現了故障維修2小時內到現場、24小時內完成，還大大減輕了備件的庫存壓力。

在零售行業，騰訊雲大資料中臺幫助永輝超市實現品種最佳化和銷售預測，透過正確的人才洞察大幅提高店鋪經營效率，同時為永輝超市的沉澱會員提供更好的服務。從而更好的支援永輝超市的日常業務決策，實現門店管理成本降低，試點門店的銷量實現提升、消費者數字化洞察等，全面擁抱智慧化升級。

寫在最後

基於資料進行決策是未來企業的常態，資料也將成為實體經濟創新的燃料。《2022年雲上產品趨勢報告》資料顯示，到2026年，全球大資料市場的IT總投資規模將增至4491.1億美元，實現約15.6%的複合增長率——運用資料幫助企業強化競爭力，是大資料產品的價值所在。(點選下方圖片下載報告全文，除了大資料，《報告》也對音影片、人工智慧、資料庫、數字孿生等10個重點賽道的未來市場規模與產品演進方向做出趨勢研判。)

未來，騰訊雲大資料還將在以容器化、統一排程、Serverless等前沿技術相結合的雲原生大資料產品，以深度完善DataOps敏捷資料開發，構建更加標準與開放的資料治理體系，以破解資料保護與應用矛盾，打造更可靠的“可用不可見”資料安全方案，以大資料與AI融合，為大資料裝上“智慧”的大腦，打通資料和業務智慧應用的數智融合生態等方向上進一步發力，攜手合作夥伴，為客戶提供更智慧、更安全的大資料產品服務。