探秘資料庫中的平行計算技術應用

华为云开发者联盟發表於2024-07-01
資料庫

本文分享自華為雲社群《【GaussTech技術專欄】資料庫中平行計算技術應用探秘》，作者：GaussDB資料庫。

平行計算是提高系統效能的重要手段之一。該技術是透過利用多臺伺服器、多個處理器、處理器中的多核以及SIMD指令集等技術，實現任務的並行化處理，從而加快任務處理的速度。同時，在多個計算機領域有應用，如影像處理、大資料處理、科學計算及資料庫等。

資料庫中的並行處理技術

1. 分散式並行處理架構

並行處理資料庫架構的出現可以追溯到上世紀80年代。當時計算機效能非常有限，但企業已經有了大規模的資料的處理需求。

那當時技術界是如何提升資料處理能力的呢？

當時技術界提出了三種並行架構：Shared Nothing、Shared Disk、Shared Memory，並對他們展開了各種討論。圖靈獎獲得者Michael Stonebraker在1985年發表的一篇關於Shared Nothing的文章《The Case for Shared Nothing》，從不同維度，對三種架構能力做了一些比較分析。由於在成本、擴充套件性、可用性方面的優勢，Shared Nothing成為主流的設計思路。

1）最早的Shared Nothing商業產品

最早的Shared Nothing資料處理系統是1984年Teradata公司釋出的第一代產品DBC/1012。

1.PNG

圖1 DBC/1012架構

DBC/1012的系統架構的關鍵元件有：

探秘資料庫中的平行計算技術應用

DBC/1012一開始作為大型機IBM 370的後端，後來也可用作其他各種大型機、小型計算機和工作站的後端。資料被演算法平均劃分到AMP管理的本地Disk，AMP之間通常不交換資料。可透過增加AMP的數量來提升整個系統的資料容量和效能。

雖然現在看來滿滿的歷史感，但是當時藉助Shared Nothing技術處理大資料時，Teradata表現得非常好，因此也贏得了優質大客戶，幫助Teradata取得商業上的成功。

2）MPP(Massively Parallel Processing)和shared-nothing

資料庫並行處理技術中經常會提到的MPP(Massively Parallel Processing)，通常指的是伺服器的系統架構分類方法。除了MPP之外，還有NUMA、SMP這兩個分類。

  • SMP(Symmetric MultiProcessing)：對稱多處理器結構

SMP伺服器的主要特徵是共享。系統中的所有資源（如記憶體、I/O等）都是共享的，擴充套件能力比較有限。

SMP有時也被稱為一致儲存器訪問(UMA)結構體系，記憶體被所有處理機均勻共享。和NUMA不同，SMP所有處理器對所有記憶體具有相同的訪問時間。

2.PNG

圖2 SMP示意

  • NUMA（Non-Uniform Memory Architecture）：非一致儲存訪問結構

NUMA伺服器的主要特徵是擁有多個CPU模組，模組之間可以透過互聯模組連線和資訊互動。

每個CPU可以訪問整個系統的記憶體，但是訪問速度不一樣。CPU訪問本地記憶體的速度遠遠高於系統內其他節點的記憶體速度。

NUMA和MPP的區別在於，NUMA是一臺物理伺服器，而MPP是多臺。

3.PNG

圖3 NUMA示意

  • MPP(Massively Parallel Processing)：大規模並行處理結構

MPP是多臺伺服器節點透過網際網路絡連線起來，各個伺服器節點只訪問本地資源（記憶體和儲存），各個伺服器之間shared nothing。

在資料庫領域裡，當我們說起一個資料庫是MPPDB，是指在資料的設計實現上，利用MPP並行處理的伺服器叢集scale-out擴充套件資料庫效能，伺服器之間Shared Nothing。可以理解為MPPDB == Shared Nothing資料庫。

當前支援MPP架構資料庫產品有很多，如：Netezza（基於PG；IBM收購後不活躍）、Greenplum（基於PG；VMware）、Vertica（HP）、Sybase IQ（SAP）、TD Aster Data（Teradata）、Doris（百度）、Clickhouse（Clickhouse, Inc.）、GaussDB（華為）、SeaboxMPP（東方金信）等。

2. SMP並行

One size does not fit all。Shared Nothing並行技術做到了很好的水平橫向擴充套件（scale-out），但隨著單臺物理伺服器的硬體資源越來越強大（幾十~上百個core/伺服器），僅僅採用Shared Nothing技術，不能很好地挖掘硬體潛力。因為組成Shared Nothing架構資料庫的單機很多都是SMP架構，即使是NUMA架構，其實每個NUMA域也可以近似認為是一個SMP系統。因此，業界又做了SMP並行執行的工作，提升單機上縱向擴充套件（scale-up）能力，最佳化處理效能。

SMP並行技術可透過多執行緒多子任務並行執行的機制實現系統計算資源的充分高效使用，如下圖所示：

4.PNG

3. 其他並行技術

SMP進一步提升了資料庫節點內並行處理的能力，但是資料庫節點的處理晶片的處理效能仍可以進一步壓榨，比如ARM和x86處理器往往都配備了SIMD指令集，提升了一條指令可以處理的資料的位寬。篇幅原因，這些並行技術會在後續GaussTech系列文章中闡述，這裡不再贅述。

開源資料庫中的並行技術應用

當前流行的開源資料庫有兩款：MySQL和PostgreSQL。讓我們來看一下這兩款開源資料庫系列中Shared Nothing和SMP技術的運用吧。

1. Shared Nothing

MySQL搭建Shared Nothing資料庫叢集主要靠藉助各廠商自研或者開源的中介軟體，結合MySQL資料庫提供分散式並行處理能力。比如：GoldenDB、TDSQL-MySQL等。MySQL官方也提供了MySQL NDB Cluster，可藉助其搭建分散式叢集。

PostgreSQL也是類似的思路，比如：TDSQL- PostgreSQL以及PostgreSQL生態圈流行的開源中介軟體Postgres-XL、Postgres-XC、citus等。

可以看到，MySQL以及PostgreSQL系提供Shared Nothing能力的主要是中介軟體架構的分散式資料庫。

5.PNG

雖然這類資料庫能橫向擴充套件資料處理能力，但也存在功能降級、全域性事務能力和高可用、效能等方面存在短板，需要有針對性增強。

2. SMP並行技術

MySQL在2019年釋出的8.0.14版本中第一次引入了並行查詢特性，對於一條SQL語句，也能發揮主機CPU多核能力，改善複雜大查詢的能力。

並行處理能力主要是由儲存引擎InnoDB提供的：

(1) innodb_parallel_read_threads ：配置用於並行掃描的最大執行緒數。
(2) innodb_ddl_threads ：控制 InnoDB 建立（排序和構建）二級索引的最大並行執行緒數。

PostgreSQL從2016年釋出的9.6開始支援並行順序掃描、聚合，在2018年釋出的11支援了更多的並行運算元：並行雜湊連線、Append、建立索引等。

PostgreSQL提供了一些引數來進行並行的控制，比如max_parallel_workers_per_gather。當最佳化器預判並行執行成本較高時，也不會生成並行執行計劃。

可以看到，作為開源資料庫中的翹楚，PostgreSQL和MySQL都應用了SMP執行緒級並行處理技術提升資料庫的單節點處理效能。

總結

平行計算技術作為提升資料庫處理效能的重要手段，在現有的資料庫產品中得到了廣泛的應用。本文簡要說明了以Shared Nothing為代表的節點間並行處理技術，以及SMP節點內並行處理技術和它們在開源資料庫中的應用。

GaussDB作為企業級資料庫，也使用了這兩項技術，提升了資料庫處理的效能。相較於開源資料庫的實現，GaussDB的實現方式，結合各類實際場景，新增了更多的特色實現，進一步提升了分散式處理效能，這些我們將於下一篇文章加以說明。

點選關注，第一時間瞭解華為雲新鮮技術~

相關文章