釋放資料價值,華為云為何底氣十足?

dobigdata發表於2020-09-03

如果說石油定義了二十世紀,那麼資料正在迅速改變著二十一世紀。尤其是數字化以前所未有的步伐前進,資料正在成為整個社會運轉的基礎。正如舍恩伯格在《大資料時代》中提到,大資料帶來的資訊風暴正在變革我們的生活、工作和思維,大資料開啟了一次重大的時代轉型。

當下,企業無論是數字化轉型還是智慧化升級,都與資料密不可分。與石油必須經過提煉之後才能應用到千行百業類似,資料也必須經過整合、加工、處理之後才能被很好地分析挖掘與應用。

然而,從資料到資料價值實現這個全生命週期過程並不簡單,當下由於資料規模龐大、資料型別眾多、實時性高等要求,使得資料價值的實現依然存在著很高的技術門檻。如何降低資料價值實現的門檻,就成為千行百業數字化轉型和智慧化升級的關鍵所在。

資料湖,是一個並不新穎卻被使用者越來越重視的名詞,被業界普遍認為是降低大資料技術門檻和加速實現資料價值的最佳方式。尤其是隨著企業上雲的步伐加速,雲端計算所帶來的彈性、靈活、高效正在賦予資料湖前所未有的活力,也讓越來越多使用者將資料湖雲服務作為資料價值實現的首選。

在眾多資料湖解決方案中,華為雲的智慧資料湖FusionInsight在業界不可小覷,不僅僅因為華為雲在資料湖領域擁有全面的技術、產品和方案,更因為華為雲資料湖解決方案在金融、電信等行業的資料湖場景中得到了充分的實踐與考驗。

近日,在華為雲TechWave 2020大資料專題日活動上,華為雲介紹了其智慧資料湖FusionInsight解決方案的最新動態,包括MRS大資料引領全球大資料技術發展,新一代全場景資料倉儲GaussDB(DWS),一站式融合、開放資料運營平臺DAYU等產品,為大家勾勒出一副資料湖的全景圖。

為了響應政企使用者在IoT和運維監控等場景下對資料倉儲時效性的需求,華為雲還在TechWave 2020大資料專題日釋出了GaussDB(DWS)實時數倉新品。

釋放資料價值,華為云為何底氣十足?

華為雲人工智慧領域總裁賈永利 釋出華為雲GaussDB(DWS)實時數倉

正如華為雲人工智慧領域總裁賈永利所言:“華為雲希望透過大資料技術普惠創新,幫助千行百業真正釋放資料價值。”

華為雲FusionInsight:這個資料湖不一般

從2010年首次被提出開始,資料湖已然走過十年曆史,其在數字化時代給使用者帶來的價值如今愈發清晰。

時至今日,資料其實已經成為數字化時代的一種最為重要的生產資料,資料正在加速重塑企業與組織的生產、經營、銷售、服務等流程。資料湖最大的價值在於可以幫助使用者梳理清楚從資料儲存、資料匯聚到資料探勘全過程。千萬不要小看資料湖所能完成的這些處理過程,這恰恰是使用者們在數字化時代發揮資料價值所必不可少的基礎。

華為雲人工智慧總裁賈永利表示:“為了應對企業面臨的各種挑戰,華為雲推出了智慧資料湖FusionInsight,圍繞客戶在使用資料、管理資料全生命週期方面提供整體解決方案。”

釋放資料價值,華為云為何底氣十足?

華為雲FusionInsight智慧資料湖方案擁有構建大叢集的能力,支援單叢集2萬節點,是行業中的標杆;採用湖倉一體的設計,讓批處理和互動式查詢融合,實現“0”資料搬移;資料T+0實時入庫、消費、分析,大幅提升資料分析與應用的速度,很好地滿足了實時性需求;此外,華為雲FusionInsight作為統一的資料湖,在管理上很容易實現統一管理。

據悉,華為雲FusionInsight智慧資料湖包含MRS大資料、GaussDB(DWS)資料倉儲、GES圖計算、DAYU資料運營等多款強大的雲服務。

其中,華為雲FusionInsight MRS大資料、GaussDB(DWS)資料倉儲,可以為使用者在數字化轉型中構建堅實的資料底座,並透過HetuEngine資料虛擬化引擎簡化用數、提高效率。

同時,為標準化多樣性資料,一站式資料運營平臺DAYU向下可接入日誌、文字、影片、音訊、圖片等各型別資料,基於多樣性算力與CarbonData實現全域性一份資料的統一格式儲存;向上為夥伴開發50+資料整合開發API,使能資料,攜手800+生態夥伴打造各行業應用。

除了強大的產品之外,華為雲FusionInsight智慧資料湖方案之所以在業界備受推崇,關鍵還在於行業龍頭的核心場景中得到了充分驗證。據悉,華為雲FusionInsight相關產品已經應用於全球60個國家及地區,服務於3000+個客戶,擁有800多家合作伙伴,廣泛應用於金融、運營商、政府、能源、醫療、製造、交通等多個行業。

以工商銀行為例,資料在銀行等金融機構的作用日趨突出,工商銀行作為一家世界級的商業銀行,一直致力於探索資料驅動的金融服務新模式,有著大量基於資料的應用創新。華為雲FusionInsight智慧資料湖幫助工商銀行構建起大資料雲平臺,很好地解決了工行大資料全場景生態化應用的儲存、算力和演算法挑戰,支撐起工行企業級資料湖、資料倉儲、集團資訊庫建設,推動工行資料智慧服務由事後快速演進到事前、事中階段,大幅加快了各項金融服務的創新速度。

GaussDB(DWS):十年磨一劍的新數倉

資料倉儲在大資料時代正在面臨著巨大變革。隨著資料規模越來越龐大、資料型別越來越豐富,以及資料實時分析需求越來越高,傳統資料倉儲已經無法應對各個行業對於資料分析的需求。

比如,以前資料倉儲對接的資料來源主要來自於企業內部的交易資料,而如今除了內部交易資料之外,企業希望資料倉儲的資料來源更加多元化,比如對接行為資料、CRM資料、財務資料等等。資料來源的大幅增加,也使得資料量正在暴增,這對於資料倉儲的架構、效能、穩定性都是極大的考驗。

像資料倉儲在大叢集上經常會面臨挑戰,也即隨著叢集規模越來越大,資料倉儲對於資源佔用、連線佔用呈現出指數級的增長,會帶來埠占用、資源佔用等一系列問題。要想解決這些問題,新一代資料倉儲必須在架構上就實現突破。比如,在本次華為雲TechWave 大資料專題日活動上,華為雲GaussDB(DWS)新一代全場景雲資料倉儲就帶來了全新的思路。

作為十年磨一劍的新產品,華為雲GaussDB(DWS)新一代全場景雲資料庫擁有以下特點:

  • 首先,GaussDB(DWS)從架構源頭上採用了Share-Nothing無共享的分散式架構,突破了大規模通訊、大規模叢集管理等一系列的資料倉儲大叢集關鍵技術,支援單叢集PB級以上的資料容量,設計規格最大可擴充套件至2048個節點,在從小叢集規模逐步擴充套件到大叢集規模過程中,隨著節點數增加,叢集的效能和容量線性增長,線性加速比>0.9。
  • 其次,GaussDB(DWS)採用了全平行計算的架構,支援多個物理節點平行計算,在一個物理節點中支援多個CPU核心平行計算,在一個CPU核心的指令序列中支援SIMD指令,實現一個指令同時操作多條資料,充分聚合海量算力資源。同時,GaussDB(DWS)實現了新一代智慧最佳化器技術、高效的運算元演算法、動態編譯等核心技術,帶來了高效的指令效率,在海量的算力資源和高效的指令效率的雙倍加速下,資料倉儲資料匯入和分析速度都大幅領先。例如,TB級資料分鐘級匯入、百億行資料的關聯分析秒級響應等都已經在實際案例中得到實現。
  • 另外,GaussDB(DWS)採用多層備份、多級保護機制,極大提升其穩定性和可靠性。例如,在GaussDB(DWS)的系統部署中,磁碟、交換機、網路卡、主機電源等關鍵硬體都有冗餘備份。所有的軟體元件,如CN、DN、GTM、CM Server等都能實現例項多活或者Active-Standby的互備。同時,全方位的軟硬體故障檢測功能能夠快速對叢集進行快速檢測和響應,實現自動故障切換,讓業務持續可用。

從2011年開始,華為十年以來一直致力於GaussDB(DWS)產品的打造,並且在金融、電信、政府等多個行業獲得了豐富的實踐經驗和場景嚴苛考驗。目前,全球有超過500家大客戶採用了華為GaussDB(DWS)產品。比如,工商銀行作為全球最大的商業銀行,已經實現了用GaussDB(DWS)對全球著名資料倉儲產品的替代。

未來,華為雲GaussDB(DWS)還將持續最佳化核心能力,以支援更大的叢集規模、更強的實時分析能力、以及更高的系統可靠性;並將會發力打造Cloud-Native雲資料倉儲,面向雲的環境,持續最佳化嚮導式、全流程、線上視覺化運維能力,線上快速彈性擴縮容能力;此外,資料協同能力、新型硬體支援能力以及分析邊界擴充也是華為雲GaussDB(DWS)未來持續突破的重點。

普惠資料創新:華為雲底氣十足

在華為雲智慧資料湖FusionInsight解決方案中,除了華為雲GaussDB(DWS),還有CarbonData和DAYU其他兩大資料“秘籍”。

華為雲CarbonData是圍繞資料儲存進行資料格式一系列最佳化的引擎,可以實現全域性一份資料,統一的格式儲存,使用更加高效。華為雲DAYU則是融合、開放的雲化資料運營平臺,它可以支援超過30+的資料來源對接,實現全域聯邦資料資產管理;其開放架構體系圍繞資料使用構建起端到端完善的工具平臺;此外,它共享型行業資產模型讓資料資產化效率實現3倍提升,支撐夥伴快速構築行業資料資產生態。

事實上,資料湖十年價值落地之路可謂是兜兜轉轉、起起伏伏。十年以來,有各種型別的廠商希望加速資料湖的落地,但一個有趣的現象愈發明顯,即像華為云為代表的雲服務提供商,正在成為資料湖落地的重要力量。

像華為雲這樣的雲服務提供商之所以能夠極大推動資料湖在各行各業的落地,是因為:

首先,資料湖並不是一項單點技術,而是多種跟資料相關技術的組合體系,需要發揮技術組合的威力,而像華為雲這樣的雲服務提供商,恰恰可以提供全面和強大的產品、技術組合,加速了資料湖在使用者中的落地應用。

其次,雲服務的方式是資料湖落地的一個絕佳載體,雲服務的方式遮蔽了傳統模式的各種複雜性,提供了前所未有的靈活性、彈性和技術的快速迭代。在企業使用者上雲趨勢下,雲服務提供商將雲端計算的優勢與資料湖結合。

另外,華為雲FusionInsight智慧資料湖解決方案已經在金融、電信、製造、政府等多個行業場景中得到了實踐與考驗,其方案的完整度、能力都有充分保障。

這些就是華為雲在資料湖落地、加速幫助使用者實現資料價值的底氣所在。資料湖已經走過了十個年頭,未來隨著5G、物聯網等更多技術的應用,使用者對於資料湖的需求必然會再上一個臺階,而華為雲智慧資料湖FusionInsight有望迎來更大的施展舞臺!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2717034/,如需轉載,請註明出處,否則將追究法律責任。

相關文章