FusionInsight MRS：你的大資料“管家”

摘要：4月24日-26日，HDC.Cloud2021在深圳大學城成功舉辦，華為雲FusionInsight MRS雲原生資料湖帶來最懂行的大資料解決方案，為政企客戶提供湖倉一體、雲原生的大資料解決方案，一個架構可構建3種資料湖：離線資料湖、實時資料湖、邏輯資料湖，更有現場沙箱實驗和名師大講堂，一起來細品。

2021年4月26日，HDC.Cloud2021（華為開發者大會2021）成功落下帷幕。本次大會，華為雲FusionInsight MRS雲原生資料湖帶著“一架構三湖”的願景與使命來到現場，與眾多行業客戶、合作伙伴、開發者一起，就如何在5G、AI、IoT高速發展的當下，用更好的技術創新，賦能千行百業等議題進行深入的探討。下面，讓我們一起再次重溫本次活動的精彩瞬間。

資料使能展區華為雲FusionInsight MRS雲原生資料湖綻放光彩

華為雲FusionInsight MRS一架“構”三湖

在資料使能展區，華為雲FusionInsight MRS雲原生資料湖帶來最懂行的大資料解決方案，為政企客戶提供湖倉一體、雲原生的大資料解決方案，一個架構可構建3種資料湖：離線資料湖、實時資料湖、邏輯資料湖，支撐政企客戶全量資料的實時分析、離線分析、互動查詢、實時檢索、多模分析、資料倉儲、資料接入和治理等大資料應用場景，使政企客戶高效用數、簡化用數，助力政企客戶實現一企一湖、一城一湖，業務洞見更準，價值兌現更快。

離線資料湖：HetuEngine提供秒級互動式查詢能力，資料不出湖，分析鏈路短，效能比Impala快30%+，分析提效10倍+；DLC提供統一的後設資料，資料全域性可視；HetuEngine提供湖內統一SQL介面：HDFS、Hive、HBase、ES等，簡化用數。

實時資料湖：流處理 + Hudi實現資料更新入湖，從T+1到T+0；ClickHouse提供毫秒級實時OLAP分析能力；Flink提供FlinkSQL能力，批流SQL介面統一，實現流批一體。

邏輯資料湖：HetuEngine提供跨湖、跨倉、跨雲統一訪問，減少資料搬遷，資料高效流動，全域資料秒級協同分析秒級響應，業務上線效率提升10倍，由周級縮短至天級。

華為雲FusionInsight MRS踐行產學研合作，全面推進大資料開源技術發展，聯合清華大學釋出了IoTDB時序引擎版本。目前華為雲FusionInsight MRS已應用於60多個國家3000+客戶，助力政企客戶實現一企一湖、一城一湖，業務洞見更準，價值兌現更快！

華為雲FusionInsight技術生態工程師黃昊兮講解實驗

在華為雲FusionInsight MRS雲原生資料湖展臺的一側，設有開發者實操的沙箱實驗室，華為雲FusionInsight技術生態資深工程師黃昊兮，在現場為大家現身授教，講述“使用MRS Hudi體驗實時入湖、使用MRS Clickhouse體驗實時OLAP、使用MRS HetuEngine體驗跨源跨域分析能力”三個實驗，透過上手實操體驗加深瞭解各元件的特性你，Hudi能夠支援資料增量更新，從傳統Append 到 Upsert，實現資料實時更新，資料價值釋放從T+1轉變為T+0；Clickhouse具備毫秒級的OLAP分析能力，實現資料分析不出湖，解決了傳統資料冗餘、來回搬遷的問題；HetuEngine提供統一標準SQL對分佈於多個地域（或資料中心）的多種資料來源實現高效訪問，遮蔽資料在結構、儲存及地域上的差異，實現資料與應用的解耦。

華為雲FusionInsight MRS雲原生資料湖展區

展區不僅擁有華為雲FusionInsight MRS雲原生資料湖一架“構”三湖的特性，更有落地實際應用的沙箱體驗，讓觀展嘉賓在獲得大資料前沿技術的同時，收穫一份上手操作的親身體驗。

名師大講堂：暢談新技術、新價值、新趨勢

大會期間，由華為技術專家天團打造的《名師大講堂》系列專題演講，圍繞雲原生、大資料、人工智慧等話題，探討技術創新帶來的價值，分享創新實踐。其中，華為雲FusionInsight MRS雲原生資料湖帶來兩場專家演講，由華為雲FusionInsight解決方案架構師許田立，分享“千級節點的大資料叢集如何無業務中斷升級”主題，由HetuEngine架構師武文博，分享“跨源、跨域場景下如何實現海量資料分鐘級分析”主題。

• 千級節點的大資料叢集滾動升級，業務無中斷

華為雲FusionInsight解決方案架構師許田立演講

隨著政企數字化發展，資料湖在政府、金融、運營商、大型企業等中承載越來越多的關鍵資料分析、處理的業務，在日常升級和維護過程中，對於業務連續性保障的要求也越來越高。

而大資料技術迭代快，傳統大資料平臺採用離線升級方式，需斷電、重啟等操作，升級操作複雜，運維繁瑣，影響現網業務執行，且大叢集升級耗時長，突發故障易中斷升級動作，為保持業務的連續性和技術引領，急需業務不中斷的滾動升級能力，確保大叢集資料底座的持續演進。

華為雲FusionInsight MRS雲原生資料湖提供超大規模叢集，支援單叢集2萬+節點規模，並可聯邦無限擴容，同時，從500+節點叢集的標配開始，華為雲FusionInsight MRS雲原生資料湖已提供滾動升級能力，截止目前升級成功率為100%。

透過華為雲FusionInsight MRS雲原生資料湖滾動升級能力，助力政企客戶實現大叢集分批次、迴圈滾動升級，業務0中斷；故障節點隔離功能確保升級動作的穩定執行，實現7*24小時不間斷服務；1000+精細化運維指標及視覺化操作簡化運維，實現一個架構持續演進。

• 海量資料跨湖跨倉分鐘級分析

HetuEngine架構師武文博演講

HetuEngine是統一高效的資料虛擬化分析引擎，與大資料生態無縫融合，實現海量資料秒級查詢；業界首創多源異構協同，實現一站式SQL融合分析，海量資料協同分析分鐘級。

高效能互動式查詢：傳統大資料透過Hive引擎構建即席查詢任務，查詢時間長， HetuEngine透過啟發式索引和執行計劃Cache，實現秒級查詢響應；

跨湖跨倉跨雲融合：傳統資料分析需先統一資料格式，HetuEngine可實現不同資料格式間的join，減少資料搬遷，較傳統方案提效30%；傳統DC分析要建手工擺渡資料，HetuEngine可透過DC Connector進行連線，資料全域性可視，協同耗時從數天縮短至分鐘級；

多引擎融合：傳統大資料在進行多引擎元件開發時，需涉及多元件定製開發，HetuEngine可統一SQL介面訪問大資料，降低用數門檻，開發提效2-10倍。

結語

大幕拉下，並不是終點，而是新一段征程的起點。華為雲FusionInsight MRS雲原生資料湖將不忘初心，砥礪前行，保持技術創新源動力，做大數字世界黑土地，攜手800+ISV為客戶提供持續演進的湖倉一體解決方案，可以在一個架構上實現離線資料湖、實時資料湖、邏輯資料湖，在千行百業構築“一企一湖，一城一湖”。

 本文分享自華為雲社群《》，原文作者：沙漏。