大資料基本概述

不久前，《中華人民共和國資料安全法》正式頒佈，資料安全、資料要素、資料分級等熱詞受到關注。經過數年發展，我國的大資料產業日漸成熟，很多創新技術從概念走向落地。那麼，我國大資料產業發展呈現哪些重要趨勢？中國資訊通訊研究院正式釋出《2021大資料十大關鍵詞》，本報邀請中國信通院雲端計算與大資料研究所所長何寶巨集對關鍵詞進行解讀。

關鍵詞1：資料要素市場化

中央正式提出“加快培育資料要素市場”已滿一年，2021年產業各界在法規、機制、技術等方面開始了諸多探索。一是資料相關立法正在完善，《資料安全法》正式頒佈，《個人資訊保護法（草案）》即將，相關法律的陸續完善為資料要素市場化提供了保障基礎，同時深圳、上海、安徽等地方政府正在積極制定地方資料條例。二是資料交易開始探索新模式，山東、北京、北部灣等新一批成立的大資料交易所紛紛開始探索資料登記、資料信託、資料運營管理、資料資產證券化等新型業務模式，推進打造規範化、一體化的資料流通市場生態。三是企業資料資產化掀起實踐浪潮，南方電網、光大銀行、浦發銀行等領先企業開始進行更深層的資料資產化探索。

關鍵詞2：資料安全治理兼顧安全與發展

數字經濟時代，資料價值的釋放在於其流通與共享，這種天然的流動性導致傳統的資訊保安防護措施已經不再適用。2021年6月初，《中華人民共和國資料安全法》頒佈，明確要求企業“建立健全資料安全治理體系，提高資料安全保障能力”，企業必須在業務發展與資料安全之間尋求平衡點。資料安全治理是實現安全與發展雙向促進的有效抓手，然而當前產業缺少基於良好實踐的方法論和精準衡量企業治理能力的評估工具。為此，中國信通院聯合20多家企業制定了團體標準《資料安全治理能力評估框架》，已於今年4月正式釋出。

關鍵詞3：DataOps從概念到實踐

DataOps是資料管理髮展到一定階段的產物。2018年Gartner提出DataOps，將其納入資料管理Hype Cycle的三項技術之一。同時，部分資料管理能力相對領先的企業嘗試引入DataOps理念，關注資料管理流程和技術的優化，以及資料運營模式的創新。DataOps在2021年實現了從概念到實踐的突破。一方面，相關技術產品加快推出。華為雲、騰訊雲、阿里雲、亞信科技等大資料技術服務商對資料管理產品元件進行了重構，紛紛推出資料開發治理產品。另一方面，領先企業持續貫徹落實DataOps理念。工商銀行、騰訊遊戲、浙江移動等企業優化了資料管理思路，打通了資料生產、管理、消費、運營的全鏈條，將資料標準、資料質量管控嵌入資料開發治理過程中。

關鍵詞4：隱私計算迎來市場發展爆發期

2021年隱私計算備受關注，隱私計算即將迎來市場發展爆發期。國家發展改革委、中央網信辦、工業和資訊化部、國家能源局、人民銀行等部門發文鼓勵多方安全計算、聯邦學習等隱私計算技術發展和應用，政策環境進一步優化。當前，隱私計算企業和產品數量迅速增多，演算法不斷優化、相關技術加快融合、產品成熟度和可用性進一步提升。與此同時，市場已經對隱私計算應用達成基本共識，隱私計算相關招投標專案和應用案例不斷豐富，隱私計算正式步入落地應用階段。

關鍵詞5：大資料服務體系成為新的競爭點

規劃諮詢、部署實施、運維運營等軟性工作共同構成大資料服務體系，解決了產品到應用的“最後一公里”問題。然而，由於大資料技術的複雜性和與業務結合的緊密性，大資料專案無法做到“交鑰匙”工程，需要優質且持續的服務。中國信通院最新產品測試結果表明，雖然當前國內大資料產品功能項通過率已經達到了95.69%，但服務能力差距依然巨大，根據中國信通院2020年釋出的服務能力評估結果，企業平均分值只有71分（滿分100分），各項細節能力均存在不足。大資料市場發展的主要矛盾已經從產品化不足轉移到了服務能力不夠，大資料服務能力將成為供給側各企業新的競爭點。

關鍵詞6：資料技術產品與雲端計算深度融合

隨著雲原生技術的成熟以及企業雲上應用的豐富，大資料技術產品與雲端計算深度融合，從雲化走向雲原生化，使其具備按需付費、低成本、擴充套件性強、存算分離、一鍵部署等特性。2021年，亞馬遜、阿里、騰訊、華為分別推出了與雲融合的各類大資料技術產品，包括計算分析類、儲存類、資料庫類等。

關鍵詞7：實時計算逐漸普適化

大資料的3V特徵中，其中一個就是時效性。隨著分散式流處理平臺的不斷成熟，各行業領域實時計算分析的需求愈加強烈。在供給端方面，流計算產品能力快速迭代，流計算開源社群持續火熱，Flink是最活躍的Apache 開源專案之一。此外，實時計算公司廣受資本青睞，實時計算商業化公司Confluent即將IPO，估值超80億美元。在應用方面，實時流計算技術已經深入網際網路企業各類業務中，湧現出大量實踐案例，應用場景包括實時數倉、實時AI、流批一體等，並逐漸向金融、電信、工業等行業滲透。

關鍵詞8：資料湖進入產品化階段

資料湖能夠實現原始資料無轉換直接儲存，極大提高資料應用效率。目前開源界形成了ICEBERG、HUDI、DELTALAKE三大開源技術流派，共性特點是支援流批處理、資料更新、可擴充套件源資料、多種儲存引擎、多種計算引擎等能力，補齊大資料技術棧之前的短板。經過多年發展，國內企業資料湖產品在2021年逐漸落地，華為雲、騰訊雲均在今年釋出了資料湖產品，阿里雲在今年釋出了湖倉一體2.0產品，資料湖產品化進展加速。

關鍵詞9：數字孿生在重點行業關注度高

智慧城市、工業網際網路將成為“十四五”時期的重頭戲，而數字孿生是實現智慧城市、工業網際網路最基礎的技術手段之一。數字孿生是一系列技術的組合，具備五大關鍵技術能力：物理與數字世界的互操作性、資料模型的可擴充套件性、數字表徵的實時性、多維度的保真性、數字影響物理的閉環性。當前，數字孿生技術進展迅猛，成為研究和標準化工作的重點。Gartner、IDC等研究機構開始深挖數字孿生的研究價值，ISO/IEC 開啟數字孿生相關標準制定工作，中國信通院成立數字孿生技術應用工作委員會，開展數字孿生技術在智慧城市場景與應用的探索。同時阿里雲、華為、AWS、微軟等各頭部企業也開始佈局，釋出數字孿生行業解決方案。

關鍵詞10：硬體變革推動資料產品更新重構

資料技術產品的設計與研發與底層硬體的架構和能力息息相關。目前，底層硬體正在發生變革，導致資料技術產品也將隨之進行重構。一方面，資料技術產品將直接利用硬體實現資料安全和網路解析等功能。另一方面，未來資料技術產品將面向ARM架構實現優化。未來，基於ARM的伺服器規模將持續擴大，各類資料技術產品為提高能力將面向ARM實現優化。