資料要素如何發揮價值,華為雲展現新思路

dobigdata發表於2021-07-11

“五年前,我很多客戶的平均資料量大約為10TB,以ERP、CRM等資料為主;今天,客戶的資料量達到PB級已成新常態,像零售、金融等行業,除了ERP、CRM這些結構化資料之外,還有大量各種行為/社交資料;另外,基於資料驅動的應用場景正在迅速增加,與資料相關操作的複雜性遠超以往。此刻,資料上雲已是大勢所趨、不可阻擋,必須藉助雲來解決相關問題。”一位聚焦大資料落地的一線行業ISV如是說。

的確,隨著《關於構建更加完善的要素市場化配置體制機制的意見》首次新增資料要素,在大資料時代下,如何加速發揮資料要素的價值已然成為共識。資料不僅是數字化轉型和智慧化升級的基礎,更成為重塑業務流程與決策方式的關鍵所在。

華為Cloud BU副總裁、全球Marketing與銷售服務總裁石冀琳在6月18日華為雲TechWave全球技術峰會(人工智慧&資料)上提出了自己的看法:企業實現全面雲化、全棧智慧的三大關鍵在於:一,全面擁抱雲原生;二,資料驅動決策;三,AI工業化開發。這就需要“圍繞資料全生命週期技術創新,激發資料潛能,讓資料成為新的生產要素。”

資料要素如何發揮價值,華為雲有話說

當下,的確到了重新認識、理解和應用資料的新階段。然而,在數字經濟蓬勃發展的大趨勢下,真正引領資料應用理念、加速資料價值落地的並不是傳統儲存廠商,也不是開源廠商,而是以華為云為代表的雲服務商。雲服務商們在千行百業的場景中不斷錘鍊,所面對的資料規模、資料複雜度、資料處理難度、資料探勘難度無出其右,也讓自身在資料要素落地之路上脫穎而出。

資料驅動下的暗流湧動

有人曾言:資料如水,它既可以形成大江大河,滋潤萬物生長;亦能匯聚成連片沼澤孤島,使人深陷其中。這形象地說明了資料所帶來的兩面性,而決定因素是資料處理機制。眾所周知,因為資料規模、資料型別今非昔比,使得資料的“採、存、算、管、用”等加工處理過程面臨著前所未有的挑戰,亟需新的資料處理機制來應對。

資料要素如何發揮價值,華為雲有話說

首先,資料產生源、資料型別、資料量都發生了翻天覆地的變化。以資料產生源為例,機器正在成為產生資料的主力軍,一輛L4級別的自動駕駛汽車一天可以產生60TB資料量,這還不包括自動駕駛訓練演算法每天透過訓練產生的大量資料;又如,OpenAI去年五月釋出的GPT-3模型,光模型引數就高達1750億個,預訓練資料量高達45TB,比上一代模型足足高了100倍……種種例子數不勝數,充分反應出資料處理能力要求的變化。

其次,資料操作複雜性今非昔比。大量半結構化/非結構化資料並存、資料分析越來越細化、資料分析鏈路長、資料操作整合度差,使得在海量資料規模的環境中,資料移動、資料訪問活動的授權、管理和審計等一系列資料操作變得困難重重。有人甚至形象地稱之為資料重力現象,即隨著資料量一直膨脹所帶來資料往來、移動操作變得愈加複雜與困難。

第三,基於資料驅動型應用正在井噴,並且正在深刻改變著業務流程和決策模式。以金融營銷為例,過去依賴本地資料倉儲分析來制定營銷方案,資料模型正規化有要求、維度單一、實時性差,營銷方案分析維度少、業務響應差。如今的金融營銷,則構建在基於資料驅動的場景之上,收集使用者各種維度的相關資料,充分利用雲上的資源優勢進行訓練模型,實現精準營銷和資料價值閉環,實時調整營銷策略……類似的情況在千行百業中如雨後春筍。

因此,將資料存得下、流得動、算得快、用得好,真正構建基於資料的核心能力並不是一件容易的事情。為此,華為雲在本次峰會上提出了“DIGITS”設計理念。所謂“DIGITS”即是圍繞資料的全生命週期,構建雲原生資料平臺,實現資料的全域整合(Integration)、統一治理(Governance)和智慧(Intelligence),讓使用者能夠基於可信資料(Trustworthy)進行探索發現(Search & Discovery),驅動業務決策(Decision),激發資料潛能。

“圍繞資料這個核心生產要素,充分發掘資料價值,從單點技術創新,走向系統性的技術創新。”石冀琳表示道。基於DIGITS理念,華為雲透過資料使能DAYU,圍繞資料全生命週期提供一站式解決方案,實現從諮詢到實施再到技術平臺的端到端全生命週期資料管理。

華為雲FusionInsight:持續成長

今年以來,資料驅動、雲原生資料湖、湖倉一體等熱門詞彙成為業界關注的焦點。究其原因,本質上是隨著企業上雲成為大勢所趨之後,大量應用遷移到雲中,以及大量基於雲的新應用誕生,對於資料“採、存、算、管、用”全生命週期的管理有著急迫的需求。

為此,華為雲FusionInsight智慧資料湖迅速獲得企業使用者的廣泛關注,其所提供湖倉一體的資料解決方案,可以幫助客戶構建雲原生資料湖,實現資料全生命週期的管理。

華為雲架構與技術規劃部部長朱海培認為,業界圍繞資料已經具備了很好和成熟的引擎、工具和平臺,但這些工具與平臺都是獨立成體系,誕生之初為某一類場景而設計;當客戶上雲之後,面臨的是場景多元化,針對不同需求需要運用不同的引擎/工具,需要有解決方案以全域性角度來幫助使用者,這也是為何湖倉一體現在很熱的關鍵。

“當資料規模達到一定階段後,過去針對單點或者單個場景的引擎/工具一定會出現瓶頸。”朱海培補充道,“以儲存引擎為例,大資料儲存引擎、Flink儲存引擎、Spark引擎都有一份資料,資料搬遷、資料操作複雜度高,浪費儲存空間,資料一致性也是挑戰。”

華為雲FusionInsight提供湖倉一體的資料底座,透過底層OBS統一資料儲存,全域性一份資料無需搬遷;一個平臺多引擎支援批處理、流處理、互動式查詢等;後設資料統一管理,全域性一個檢視,像管理程式碼一樣管理資料。

資料要素如何發揮價值,華為雲有話說

為進一步豐富自身的資料技術能力和解決方案完整度,加速幫助使用者實現資料全生命週期的管理,華為雲在本次峰會上還宣佈雲原生資料湖統一資料平臺MRS、雲原生資料湖Serverless資料湖探索DLI、實時數倉GaussDB(DWS)、金融級分散式雲原生資料庫GaussDB(for openGauss) 等4款資料新品正式規模商用。

資料要素如何發揮價值,華為雲有話說

具體來看:

  • 雲原生資料湖統一資料平臺MRS,為客戶提供湖倉一體的統一資料平臺,讓客戶在一個架構下實現離線、實時、邏輯資料湖,釋放海量資料價值,業務洞見更準;
  • 雲原生資料湖Serverless資料湖探索DLI提供基於Serverless的融合處理分析服務,企業可輕鬆完成多資料來源的聯合計算分析,挖掘和探索資料價值;
  • 實時數倉GaussDB(DWS)提供即開即用、可擴充套件且完全託管的分析型資料倉儲服務,支撐高併發高效能實時資料分析,能夠滿足網際網路、物聯網等場景使用者實時推薦、實時風控、實時監測、精準營銷等資料實時處理需求,提升企業競爭力;
  • 金融級分散式雲原生資料庫GaussDB(for openGauss),是華為結合雲原生與AI的技術打造的金融級分散式資料庫,具備混合業務負載處理的高效能、高可用、彈性擴充套件、全密態、AI-Native自治五大關鍵能力,主打金融政企核心交易、企業生產系統等關鍵業務場景。

顯然,過去耕耘政企市場多年,使得華為雲對於資料處理與治理的理解更加深入,也更加契合使用者實際需求。例如,朱海培就強調,華為雲的視角會更加聚焦在使用者混合場景下的資料統一處理與治理的難題。對於廣大政企使用者而言,多雲環境顯然是未來相當長時間內的標配,多雲環境下的資料處理與治理更加考驗雲服務商解決方案的能力。

例如,雲原生資料湖統一資料平臺MRS,就可以透過一個架構實現邏輯、實時、離線三種資料湖,很好滿足混合場景的需求。朱海培表示,“展望未來,我們也希望能更好地幫助使用者實現資料的融合,從本次MRS、DWS等新品中,大家可以看到這些產品基於統一儲存、統一後設資料、統一管理的技術特性已逐漸呈現出來,華為雲接下來也將持續保持技術創新,讓智慧資料湖產品更好地賦能客戶。”

不可小覷的華為雲

如今,華為雲正在圍繞資料構建起核心競爭能力。華為雲FusionInsight智慧資料湖持續投入超10年,攜手800+家合作伙伴,服務於全球60+個國家和地區的網際網路、政府、金融、運營商等行業使用者。

此外,華為雲還獲得了IDC、Frost & Sullivan等權威諮詢分析機構的廣泛認可。例如,在《IDC MarketScape: 中國大資料管理平臺廠商評估,2020》報告中,華為雲憑藉FusionInsight過硬的綜合實力和技術創新,位居“領導者(Leaders)”象限;在Frost & Sullivan《2020年中國資料管理解決方案市場報告》中,華為雲在產品創新能力、成長能力、基礎能力三個維度全面領先。

資料要素如何發揮價值,華為雲有話說

華為雲的成功並不是偶然。首先,華為自身就是一家全球化的公司,涉及業務之廣、規模之大、複雜度之高,在業界都具有典型性,其相關方案極具參考價值與借鑑意義。例如,華為結合自身的數字化轉型經驗,在打造數字工廠解決方案中,建立起的統一資料平臺、統一資料規範和統一資料檢視在製造業中就非常具有參考價值。

其次,華為雲以FusionInsight智慧資料湖為基礎,在產品技術層面進行了持續的創新與完善,其產品組合的成熟度和豐富程度走在了業界的前列,這無疑將持續增加華為雲在資料層面的核心競爭力。

另外,近年來,隨著華為雲在多個行業不斷突破,為多個不同行業、不同規模的使用者提供相關的資料湖服務,積累了豐富的使用者實踐經驗和有洞見的視角。

總體來看,從十年前資料湖概念提出,到如今湖倉一體解決方案的流行,一條資料價值之路已然開啟。而華為雲在本次TechWave全球技術峰會(人工智慧&資料)上所展現出來產品、技術、方案、理念都日臻成熟且富有洞見。下一個十年,將是資料使能的十年,而華為雲必然迎來更大的舞臺。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2780743/,如需轉載,請註明出處,否則將追究法律責任。

相關文章