摘要:華為雲FusionInsight MRS新一代的資料湖,讓大資料越用越快、越用越易、越用越穩、越用越省!讓資料價值近在眼前!
10月30日,以“攜手共贏·數創未來”為主題的第二屆資料分析技術與應用高峰論壇在深圳舉行。會上,華為雲大資料高階營銷經理王寧進行了主題演講“華為雲FusionInsight MRS跨越技術裂谷,助力客戶實現一企一湖,一城一湖”!
大資料技術創新焦點已轉向LakeHouse,企業創新焦點已轉向湖倉一體
“隨著大資料技術的愈發成熟和5G、AI、IoT技術的規模商用,政企客戶需要商業訴求與技術創新的雙輪驅動,實現數字化轉型。企業構建技術領先的大資料平臺,選擇具有競爭力的數字底座至關重要。面向數字化轉型中的政企客戶,近年來,華為雲大資料與世界同步,持續創新,致力於打造技術領先的數字底座,讓大資料越用越快、越用越易、越用越穩、越用越省!把複雜留給自己,把簡單留給夥伴,助力客戶數字化轉型成功!” 王寧分享到。那麼數字底座如此關鍵,大資料作為主要承載技術,未來它將如何發展呢?
2011年以後隨著資訊化的浪潮和大資料的成熟,企業開始利用大資料等技術構建資料湖,滿足多樣性資料的儲存,資料湖雖然適合儲存資料,但缺少一些支撐業務的關鍵能力:比如不支援實時增量更新,不支援事務,無法實時分析等。據預測到2025年,全球資料量將從2018年的33ZB快速增長到180ZB,客戶為應對呈指數級增長的資料資產,採用大規模、高效率、一站式多場景的大資料處理系統的需求越來越迫切。到2020年,大資料技術創新趨勢的焦點已轉向LakeHouse、企業創新焦點已轉向湖倉一體。
資料湖向LakeHouse發展,基於資料湖實現與數倉類同的資料結構和資料管理能力支援實時更新、BI互動分析、混合負載;資料湖、資料倉儲向融合分析架構發展,Hadoop與MPPDB具備資料共享和跨庫分析能力,支援互聯互通、計算下推、協同計算,讓大資料與數倉互聯互通、協同計算,兼顧過去與未來!華為雲大資料技術與世界同步,積極擁抱開源,汲取全球頂尖大資料實踐經驗。封閉使人落後,其他主流廠商在近年來主動擁抱開源。大資料開源、開放技術仍在蓬勃發展,以前,駕馭大資料“三駕馬車”可轉遍大資料的池塘,現如今,大資料技術已發展成一片海洋,社群已具有100+開源專案,大資料技術創新進入深水區。現在大資料不僅限於Hadoop生態,已是多種主流資料處理技術的集合,在不同場景有著豐富的元件進行支撐。
華為雲打造技術領先的雲原生資料湖,實現一企一湖,一城一湖
作為技術創新、市場份額雙領先的資料湖,華為雲FusionInsight MRS具備3個硬核能力:
1)讓政企客戶在大、快、融、穩的一個雲原生資料湖架構下持續演進
大:傳統大資料單叢集擴容受限,往往擴容到2000節點就難以突破,存在分割叢集運維複雜、成本高、資源利用率不高、關鍵任務無法保障等問題。華為雲FusionInsight MRS通過大叢集突破擴充套件性瓶頸,支援最大2萬+節點大規模叢集,還可叢集聯邦無限擴容,讓政企客戶在一個架構上持續演進。在BI增強方面,可實現熱資料的毫秒級實時分析,高效支撐BI;增強Spark,支援JDBC多例項,增加BI報表連線數!
大規模特性已在華為內部得到實踐。華為集團IT通過FusionInsight構建OneData大資料叢集,實現大資料平臺在大規模場景下的開拓,OneData叢集其規模已至1萬+節點;同時,實現了統一的資料管理服務,在菩提海UniDB產品中,把50+物理分散的計算叢集(Hadoop+MPP),通過邏輯統一方式形成近湖倉一體的統一架構,支撐上千個企業租戶近60PB的資料分析需求。華為集團IT OneData大叢集歷經兩次滾動升級,業務0中斷,已穩定執行六年。華為雲FusionInsight最大單叢集可支援2萬規模超大叢集,讓客戶的業務系統穩如磐石,10年無憂!
快:資料的不斷增大,勢必帶來分析效率降低的問題。華為雲大資料打破效能瓶頸, 直面客戶業務構建主題資料,分析鏈路短,越用越快,無需等待!傳統大資料存在“慢、難、貴”的問題,資料鏈路長,事後報表為主;FusionInsight MRS可實時增量更新資料,並可實現毫秒級實時OLAP,讓大資料分析從此無需等待!
在金融某行,行內叢集總計100+節點,總資料量1PB,每天更新10萬張表,通過FusionInsight MRS實現PB級資料實時同步,100+節點資料入庫時間從12小時降至1小時以內。
解決了大資料可擴充套件、高效能方面的問題,政企使用者想要深度釋放資料價值,還需跨源、跨域的融合分析。
融:消除資料孤島,五大融合,跨源跨域跨引擎融合分析,讓資料分析越來越簡單,消除資料孤島,無需冗餘!傳統大資料分析面臨型別多、分佈散、協同難等問題;FusionInsight MRS通過HetuEngine實現五大融合,統一SQL介面,簡化用數,全民BI,讓大資料越用越簡單!
某行基於FusionInsight MRS構建金融大資料,通過HetuEngine統一SQL介面,解決資料分散,元件多、語言多等難題,降低技術開發門檻,跨源跨域跨引擎融合分析,資料免搬遷,降低整體TCO。
華為雲FusionInsight MRS除了越用越快、越用越簡單、保護客戶已有投資外,還關心政企客戶使用大資料執行的穩定性及是否可持續發展,無需全新重構!
穩:資料的增長是無限的,小叢集總會成長為大叢集,一個技術領先、可平滑升級、可持續演進的底座非常重要。FusionInsight MRS可保障一企一湖連續性,線上滾動升級,業務永遠線上,無需拆叢集、搬應用,徹底解決傳統大資料叢集多、效率低、管理難、升級難等問題,讓升級過程中關鍵業務不中斷,確保業務連續性,穩如磐石!
某運營商使用FusionInsight MRS搭建大資料平臺應對5G資料浪湧,先後兩次滾動升級實現了大資料平臺的平滑演進,實現業務無中斷,升級無感知,使用者體驗持續線上,單叢集規模已擴充套件至1500+節點,支撐了各類政務、民生等200+大資料應用服務,覆蓋使用者1.3億+,並讓客戶業務永不停、服務永線上、技術永最新!
2)實時資料湖
實時資料湖,讓資料實時增量入湖,T + 0實時分析;實現貼源資料實時多維分析,縮短分析鏈路,提高分析效率,走向實時資料湖,讓資料價值近在眼前!
3)雲原生資料湖
華為雲FusionInsight MRS具有統一後設資料和存算分離等雲原生特性。通過Data Lake Catalog資料湖目錄,為超大規模分析引擎提供統一後設資料服務,讓資料全域性可視可得;在資料儲存方面,通過OBS存算分離方案,實現計算、儲存按需擴容,基於企業級EC實現最低1.2副本,總體TCO下降20%+,讓資料每bit成本更優!湖內提供互動式分析引擎,可無縫對接BI報表和自助分析,實現秒級用數,資料免搬遷;湖內統一SQL介面,降低技術開發門檻,簡化用數,實現技術創新的雲原生資料湖。
一企一湖的雲原生資料湖,已是政企客戶的標準底座,一站式支撐全場景高效分析
通過以上特點,華為雲FusionInsight MRS新一代的資料湖,讓大資料越用越快、越用越易、越用越穩、越用越省!讓資料價值近在眼前!
華為雲FusionInsight MRS堅定開放路線,堅持回饋社群,持續投入,與世界同行
基於華為雲大資料強大的創新能力,華為雲FusionInsight在業內成績斐然,持續多年獲得多個權威機構認可。2020年,華為雲FusionInsight已連續四年入圍中國大資料企業50強,並榮獲中國資訊通訊大資料行業影響力獎、中國大資料平臺類最佳解決方案獎。華為雲引領大資料技術發展,理解客戶不斷髮展的業務訴求,持續高強度投入10多年,擁有專利超過500餘件,關鍵領域PMC、Committer佔比近50%。同時,華為雲大資料堅持平臺+生態戰略,與合作伙伴一起服務全球政企客戶。華為雲FusionInsight MRS堅定開放路線,與世界同行,持續投入,做好數字世界的黑土地。同時,我們堅持將好的經驗,持續在華為雲大資料社群為大家開放,讓大江大洋也阻隔不了勇攀大資料技術高峰的決心。華為雲FusionInsight MRS把“複雜”留給自己,把“簡單”留給夥伴,共建社群繁榮生態,聯合800+ISV,共創共贏,助力政企數字化轉型成功!
華為雲FusionInsight聯合800+夥伴,共創共贏,加速政企數字化轉型
近期,IDC將公佈2020中國大資料管理平臺廠商評估報告,華為雲FusionInsight智慧資料湖憑藉多年對行業業務的理解,堅持技術創新引領全球大資料發展,相信也將交出一份滿意的答卷。
華為雲FusionInsight MRS已成為60+國家地區、3000+客戶數字化轉型的共同選擇,廣泛應用於政府、運營商、金融、能源、醫療、製造、交通、網際網路等多個行業,釋放海量資料價值,用資料驅動業務增長,助力政企客戶實現“一企一湖,一城一湖”!