本文分享自華為雲社群《開源資料庫Greenplum人去樓空?GaussDB(DWS)提供數倉新可能》,作者: 起個名字11111。
近日Greenplum關閉 GitHub 原始碼事件在數倉行業廣受關注,程式碼業界紛紛猜測Greenplum即將閉源。作為一款典型的OLAP資料庫,Greenplum的閉源勢必帶來數倉市場格局的調整與變化。國內有哪些備受矚目的數倉產品呢?華為雲數倉GaussDB(DWS)無疑是其中的佼佼者。
GaussDB(DWS)是一款相容PostgreSQL生態,同時GaussDB(DWS)具備豐富的GP遷移成功經驗。在某一遷移GP的成功案例中,面臨客戶原平臺擴充套件性不足、資料加工鏈路長、資料分散等痛點問題,GaussDB(DWS)成功將Greenplum上數萬個資料模型、數萬個程式碼指令碼、數百萬行程式碼全部遷移至安全可控的資料倉儲平臺,基於GaussDB(DWS)的資料分析平臺成功降低系統管理成本、技術複雜度,提升了資源配置效率、資料一致性,承載30000多個資料模型。
DWS絲滑相容GP
GaussDB(DWS) 提供了配套的遷移工具,可支援TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用資料分析系統的平滑遷移。支援SQL 2003標準,相容Oracle的部分語法和資料結構,支援儲存過程,可與常用BI(business intelligence)工具無縫對接,業務遷移修改量極小。
1.語法相容性
(1)Greenplum和DWS均支援SQL 2003,相容大部分DDL與DML語法。
(2)相容GP所有資料型別。
(3)相容GP所有運算子。
(4)相容GP包括XML函式、JSON函式、視窗函式、聚集函式在內所有的複雜函式。
(5)支援自定義函式和PROCEDURE。
(6)支援Sort所有場景,包含FullSort/TopNSort。
(7)支援Agg/Join/Sort落盤功能。
(8)支援HashJoin/NestLoopJoin,完整支援Left/Right/Full/Inner/Anti/Semi六種Join規則。
(9)支援 GroupAgg/HashAgg/PlainAgg,及Agg所有相關特性。
(10)支援 HeapTable、Aocs Table的Scan,包含Seqscan和Index Scan。
2.生態相容性
(1)社群工具相容
資料整合:Talend、Kettle、DataX、DBT、Informatica等。
資料開發:Navicat、DBeaver、DbVisualizer等。
作業排程:Dataphin、Airflow等。
BI分析:QuickBI、永洪BI、FineBI、PowerBI、Tableau、Cognos、SmartBI等。
(2)華為工具相容:
資料整合:CDM、DRS、Migration等
資料開發:SQL Editor、DataArts Studio、DAS
BI分析:DataArts Insight
DWS產品優勢
1.易使用
(1) 一站式視覺化便捷管理
GaussDB(DWS) 讓您能夠輕鬆完成從專案概念到生產部署的整個過程。透過使用GaussDB(DWS) 管理控制檯,您不需要安裝資料倉儲軟體,也不需要部署資料倉儲伺服器,就可以在幾分鐘之內獲得高效能、高可靠的企業級資料倉儲叢集。
您只需單擊幾下滑鼠,就可以輕鬆完成應用程式與資料倉儲的連線、資料備份、資料恢復、資料倉儲資源和效能監控等運維管理工作。
(2) 與大資料無縫整合
您可以使用標準SQL查詢HDFS、物件儲存服務(Object Storage Service,OBS)上的資料,資料無需搬遷。
(3) 提供一鍵式異構資料庫遷移工具
GaussDB(DWS) 提供配套的遷移工具,可支援MySQL、Oracle和Teradata的SQL指令碼遷移到GaussDB(DWS) 。
2.高效能
(1) 雲化分散式架構
GaussDB(DWS) 採用全並行的MPP架構資料庫,業務資料被分散儲存在多個節點上,資料分析任務被推送到資料所在位置就近執行,並行地完成大規模的資料處理工作,實現對資料處理的快速響應。
(2) 查詢高效能,萬億資料秒級響應
GaussDB(DWS) 透過運算元並行執行、向量化執行引擎實現指令在暫存器並行執行,以及LLVM動態編譯減少查詢時冗餘的條件邏輯判斷,助力資料查詢效能提升。
GaussDB(DWS)支援行列混合儲存,可以同時為使用者提供更優的資料壓縮比(列存)、更好的索引效能(列存)、更好的點更新和點查詢(行存)效能。
(3) 資料載入快
GaussDB(DWS)提供了GDS極速並行大規模資料載入工具。
3.易擴充套件
(1) 按需擴充套件:Shared-Nothing開放架構,可隨時根據業務情況增加節點,擴充套件系統的資料儲存能力和查詢分析效能。
(2) 擴容後效能線性提升:容量和效能隨叢集規模線性提升,線性比0.8。
(3) 擴容不中斷業務:擴容過程中支援資料增、刪、改、查,及DDL操作(Drop/Truncate/Alter table),表級別線上擴容技術,擴容期間業務不中斷、無感知。
支援線上升級:8.1.1及以上源版本支援大版本線上升級,8.1.3及以上源版本支援補丁線上升級,升級期間使用者無需停止業務,業務存在閃級秒斷。
4.高可靠
(1) ACID
支援分散式事務ACID(Atomicity,Consistency,Isolation,Durability),資料強一致保證。
(2) 全方位HA設計
GaussDB(DWS) 所有的軟體程序均有主備保證,叢集的協調節點(CN)、資料節點(DN)等邏輯元件全部有主備保證,能夠保證在任意單點物理故障的情況下系統依然能夠保證資料可靠、一致,同時還能對外提供服務。
(3) 安全
GaussDB(DWS) 支援資料透明加密,同時可與資料庫安全服務(DBSS)對接,基於網路隔離及安全組規則,保護系統和使用者隱私及資料安全。GaussDB(DWS)還支援自動資料全量、增量備份,提升資料可靠性。
5.低成本
按需付費:GaussDB(DWS) 按實際使用量和使用時長計費。您需要支付的費率很低,只需為實際消耗的資源付費。
門檻低:您無需前期投入較多固定成本,可以從低規格的資料倉儲例項起步,後續隨時根據業務情況彈性伸縮所需資源,按需開支。
結語:
華為雲資料倉儲GaussDB(DWS),歷經13年的技術磨礪,已成為國內資料倉儲中的佼佼者,是中國唯一獲得數倉類CC安全認證的產品。華為雲GaussDB(DWS)一站式全場景雲資料倉儲,提供PB級資料分析能力、多模分析和實時處理能力,以統一核心提供公有云、混合雲等部署形態,使用者體驗一致。在金融、泛政府、電信、能源、交通、醫療、物流、電商等領域,幫助1700+大客戶規模商用。
未來,GaussDB(DWS)將繼續深耕雲原生Serverless化、實時分析、湖倉一體、數智融合、HTAP等數倉核心技術,引領資料產業,創新構建開放融合、雲化、實時、全場景、智慧的資料底座。
點選關注,第一時間瞭解華為雲新鮮技術~