> 在9月22日舉辦的[【墨天輪資料庫沙龍第十期—國產中介軟體專場】](https://www.modb.pro/event/684?1025)中，SphereEx 解決方案專家，ShardingSphere Contributor、OCM、RHCE 代野分享了Apache ShardingSphere：從中介軟體到分散式生態演進之路》主題演講，本文為整理內容。

**導讀**

而今，越來越多的國產資料庫解決方案以分散式為支點，逐漸在此領域有所建樹。[Apache ShardingSphere](https://www.modb.pro/wiki/2010?1025) 是其中的一個分散式資料庫解決方案，也是目前 Apache 軟體基金會中唯一的資料庫中介軟體頂級專案。 【墨天輪資料庫沙龍-中介軟體專場】邀請到SphereEx 解決方案專家代野，為大家帶來[《Apache ShardingSphere：從中介軟體到分散式生態演進之路》](https://www.modb.pro/doc/77274?1025)主題分享，以下為演講實錄。

![](https://oscimg.oschina.net/oscnet/up-92754c3fe2d704d82787c91f6204a483a16.png)
代野——SphereEx 解決方案專家，ShardingSphere Contributor、OCM、RHCE

### 印象中介軟體

**1、中介軟體的印象**

中介軟體是什麼？我搜集了大家對於中介軟體的常見印象標籤，它們是否和你心中所想相匹配？

![](https://oscimg.oschina.net/oscnet/up-b0be285018d3e6d0639f0dde25a6cd02d0d.png)
*圖1 中介軟體的常見標籤*

第一個標籤是“分庫分表”，一提到資料庫中介軟體，有朋友會認為資料庫中介軟體是做分庫分表的，這也是選型階段，長期與分散式資料庫pk的方案。第二個標籤是“Sharding”，即分庫分表的另一種說法。在部分材料中提到分庫分表方案會“對業務有入侵”，但這主要取決於業務情況。隨著分散式資料庫快速發展，這幾年也有人把中介軟體的架構稱為“過時架構”。除此之外，“網際網路”也是資料庫中介軟體的標籤之一，Web 2.0的蓬勃發展給傳統集中資料庫帶來擴充套件的能力。不僅如此，還有從產品角度對中介軟體定義標籤：例如Cobar、Vitess、Mycat等等。

大家對於中介軟體有不同的印象與理解，不同的特色也是它的價值所在。在我看來，**給下游資料庫賦能，給上游應用程式提供更好的體驗**，都可以稱之為資料庫中介軟體。

**2、分散式資料庫分類**

分散式資料庫的解決方案是中介軟體應用最多的場景。2022年7月，國家工信資訊保安發展研究中心釋出了[《分散式資料庫發展趨勢研究報告》](https://www.modb.pro/doc/76500?1025)。報告中提出，當前處在資料量增速非常大的階段，傳統資料庫表現出了明顯的瓶頸，很多使用者會考慮向分散式資料庫架構去靠攏，以解決計算以及儲存瓶頸的問題。**報告中把分散式資料庫分為了三種路線**：

-   **分散式中介軟體+單機資料庫**。 這種路線是在單機資料庫系統上進行改造，主要解決了計算和儲存的擴充套件性的問題。按照兩層來看，上一層分為無狀態的計算節點，基於分片規則，提供SQL解析，具有請求轉發和結果歸併等能力。下一層為DBA所熟悉的單機資料庫，提供單機資料庫的儲存和執行能力。這一層架構可以在邏輯層對資料進行切割，幾乎是可以線性的提供計算和儲存能力的擴充套件，達到規模化的擴充套件能力。
    
-   **非對稱計算節點+分散式儲存**。 它採用非對稱節點解決擴充套件性問題。跨地域的資料一致性主要依賴於分散式的儲存，共享儲存還能夠跨多個節點提供讀寫。上層計算的部分由無狀態的一組節點來組成，當寫節點出現故障，它會自動從可以讀的節點中選舉出一個節點作為寫的節點，實現寫能力的高可用。
    
-   **原生分散式資料庫**。 它的各個節點提供對等的讀寫服務。這條路線是根據分散式一致性做底層設計，它和傳統的資料庫有本質性的區別。原生分佈資料庫可以將分散式儲存、事務包括計算能力實現緊密結合。資料是由系統自動打散並儲存為多個副本，透過一致性的協議保證多個副本以及事務之間實現一致性，對分散式事務和全域性MVCC的支援更為徹底。

以上三種路線各自有哪些優勢和不足，大家可以參考下圖。

![](https://oscimg.oschina.net/oscnet/up-08835d71a9e11874c83ac209f1aeabd3590.png)
*圖2 《報告》對於三種路線的優劣勢對比*

### 中介軟體技術趨勢

**1、行業現狀與趨勢**

隨著各類業務的資料體量越來越大以及場景逐漸細化，資料庫技術棧以及DBA路線也呈現出了多樣性的發展。當前我們正處在一個**資料庫碎片化**的趨勢中，傳統資料庫管理、應用挑戰嚴峻，催生資料庫上層生態標準轉型。架構選型困難、技術挑戰眾多、運維複雜度高、資料庫間缺乏協作能力都是問題與挑戰。

![](https://oscimg.oschina.net/oscnet/up-8914125676acfa8b5a9844406be9dce681d.png)
*圖3 資料庫碎片化下的痛點與挑戰*

**2、最優解：統一的資料平臺中介軟體**

基於以上提到的痛點，我們能否透過統一的資料平臺來解決？**基於資料庫中介軟體的統一資料平臺便是企業大資料時代的最優解**。

在國產化程式中，業務系統對資料庫有著很多的需求：基於現有單機資料庫如何構建出一個分散式解決方案？如何能夠實現可觀察性？如何保證資料安全？如何滿足不定期的由於業務變化而產生新的需求？這些需求其實在業務中來實現，只是需要不斷地重構，也就是重複“造輪子”。那麼將這些需求放入資料庫中實現，難度更較高，尤其在協作方面，例如MySQL無法管理PG，反之PG也無法管理MySQL。

中介軟體架構則能夠相對容易滿足這些需求，它既開放又穩定，它不會顛覆資料庫，反而是做更多的增強和連線。因此中介軟體相較於分散式資料庫，並不是一個PK的概念，而是其在上層做增強。

![](https://oscimg.oschina.net/oscnet/up-0580dcf5d2b42ef87cab9d2348457ca8ce9.png)
*圖4 中介軟體架構滿足不同的業務需求*

### 開源生態

**1、SphereEx 及產品發展歷程**

[墨天輪社群中間中介軟體流行度排行榜](https://www.modb.pro/mwrank?1025)中，Sharding-JDBC排在第二位，在資料庫中介軟體中位於第一。其次是 ShardingSphere、SphereEx 、Sharding-Proxy以及Sharding-Sidecar 。

**ShardingSphere是開源專案的名稱**，其中包括Sharding-JDBC的接入端和Sharding-Proxy接入端。**Sharding-Sidecar定為是雲原生資料庫代理**，是曾經規劃的接入端。**SphereEx是Apache ShardingSphere核心團隊創立的公司**，基於ShardingSphere核心為企業提供新一代分散式資料計算增強平臺。

![](https://oscimg.oschina.net/oscnet/up-c5b9cb2e130cae7909918955dffc0e4d2e3.png)
*圖5 SphereEx 及產品在中國中介軟體流行度中的排名*

ShardingSphere最初的名字為Sharding-JDBC，這也是很多朋友習慣稱它為Sharding-JDBC的原因。2015年在噹噹網上寫下了ShardingSphere的第一行程式碼，它是為解決電商場景下分庫分表的問題而誕生的一個元件。**2016年Sharding-JDBC正式開源**，2018年專案發生了較大的變化，在JDBC基礎之上，推出了基於服務端的Proxy接入形態，專案也**更名為 ShardingSphere**。同年，它進入了Apache的孵化器。**2020年，ShardingSphere專案畢業，成為了Apache頂級專案**。**2021年，SphereEx公司成立**。

![](https://oscimg.oschina.net/oscnet/up-710ae8e63531ea6e8b45c143b7bcddae4d4.png)
*圖6 ShardingSphere 發展歷程*

**2、開源生態建設**

作為Apache軟體基金會的頂級專案，ShardingSphere在2021年程式碼提交量是整個基金會的Top 10，目前社群已經有400多位貢獻者。

ShardingSphere專案在學術上表現不俗。今年上半年，在資料庫三大頂會之一的ICDE釋出了論文《A Holistic and Pluggable Platform for Data Sharding》。近期，我們在海外出版了《Apache ShardingSphere權威指南》。ShardingSphere也被收錄至CNCF基金會中。生態建設方面，2022 年上半年，**中國信通院聯合Apache ShardingSphere 成立了金融使用者社群**，在快速發展中傾聽更多金融使用者的聲音。

![](https://oscimg.oschina.net/oscnet/up-bd887f6c14b7f09c1c2702e66825d08c006.png)
*圖7 開源專案概覽*

### 產品&解決方案

**1、ShardingSphere設計哲學：Database Plus**

首先，我將介紹一下ShardingSphere的設計哲學 —— **Database Plus**。它是一種分散式資料庫系統的設計理念，旨在碎片化的異構資料庫上層構建標準和生態，在最大限度地複用資料庫原生存算能力的前提下，進一步提供面向全域性的擴充套件和疊加計算能力，使應用和資料庫間的互動面向 Database Plus 構建的標準，從而遮蔽資料庫碎片化對上層業務帶來的差異化影響。Database Plus具有連線、增強、可插拔三個特點：

-   **連線。** 我們希望透過這一層可以連線更多的資料庫，比如在國產化替換過程中，能透過雙引擎能力同時連線Oracle和信創庫，實現資料庫的雙軌執行。然後透過中間層再逐步地切流，確保置換過程相對無感、無縫、低風險。
    
-   **增強。** 我們希望能夠在各種資料庫之上提供比如分散式的能力、加密等等這種增強的能力。
    
-   **可插拔。** 隨著連線和增強能力不斷的提升，中間的一層一定是越來越大。我們希望在擴充套件過程中能夠做到可擴充套件、可收斂，保證中間層小而美、輕量化。

**2、 ShardingSphere產品設計**

根據 Database Plus 理念的指導，這部分將介紹工程化實現。

核心層中可見分散式相關的能力，功能層如資料分片、資料加密、彈性擴容、資料遷移等能力，對應的商業化產品為SphereEx-DBPlusEngine，即資料庫增強引擎。下圖左側展現了可提供資料庫的管理能力，透過中介軟體的平臺層基於成熟單機產品構建出多種方案，為國產化替代做準備；協議上已實現MySQL和PG支援，此外還可與相容MySQL和PG協議的國產資料庫直接對接；語法方面，在Oracle、SQL Server可以相容。

![](https://oscimg.oschina.net/oscnet/up-4ab225720f46901e75aecd862d37fb484f0.png)
*圖8 DBPlusEngine 工程化面貌*

為了讓大家更瞭解產品架構設計，大家可以參考下方微核心架構設計圖。從最核心的中間紅色部分來看，這一層與資料庫非常相似。我我們在核心部分加入了可插拔的實現擴充套件點，從內到外分別是微核心層、可插拔介面層，以及最外層的可插拔生態。微核心處理流程包括標準的 SQL Parser 和 SQL Binder 模組，這兩個模組用於SQL具體特徵的識別。

SQL Parser負責將使用者發出的SQL轉化為抽象語法樹，並最終轉化為提取必要特徵的 SQL Statement。SQL Binder結合Metadata與SQL Statement，生成完整的且符合資料庫表結構的抽象語法樹，確定是否需要跨庫執行，再根據其結果將流程分為簡單下推引擎和SQL Federation引擎。當SQL可以經過邏輯表修改、執行資訊補全等操作即可以全文下推至資料庫儲存節點時，它所使用的是左側的簡單下推引擎，以便保證SQL的最大相容度；反之，當SQL需要跨節點和跨庫子查詢時，就需要走右側的SQL Federation 引擎。

![](https://oscimg.oschina.net/oscnet/up-864401ebe9f8cb5c35c348ef5a0870c8012.png)
*圖9 ShardingSphere 微核心設計*

**3、 DBPlusEngine運維工具**

接下來為大家介紹DBPlusEngine相關運維工具。

**Boot 是快速構建 SphereEx-DBPlusEngine 叢集的命令列工具**，主要功能是對 SphereEx-DBPlusEngine 進行安裝、啟動、停止、檢視執行狀態、解除安裝等操作。

![](https://oscimg.oschina.net/oscnet/up-8f849c7b5f10b2fa79e03a855a4ec11aa6a.png)
*圖10 DBPlusEngine運維工具：SphereEx-Boot*

Console 是對 SphereEx 企業資料服務平臺進行管理監控的視覺化操作平臺，提供更為易用的使用體驗；同時，構建起以 SphereEx-DBPlusEngine 為核心的整體解決方案，包括針對資源、例項、外掛等多種功能封裝，為使用者帶來一站式的使用體驗。

![](https://oscimg.oschina.net/oscnet/up-e68d0d23c173352ef9ea533237177e454a5.png)
![](https://oscimg.oschina.net/oscnet/up-6b30e15a51860e769fa6e3d7d063bef6ea2.png)
*圖11、12 DBPlusEngine運維工具：SphereEx-Console及部分監控頁面*

**4、 DBPlusEngine 物理部署架構**

DBPlusEngine物理部署架構有兩種形態。如圖，我們可以把最下面的Proxy當成資料庫來使用，它對DBA友好，可以使用客戶端直接訪問，Proxy也可以對接多種開發語言的程式，比如Java、PHP等。

另外一種形態是Driver，它和Proxy核心是一樣的，只不過外殼不一樣。它比較適合於效能極致的場景，因為它靠近應用側，到資料庫少了網路一跳。同時也不需要單獨再去採購伺服器，就可以實現分散式的能力。這一部分就是對多種接入端選擇的說明。我們當然可以混合使用這兩種接入端，取各自優點，中間使用註冊中心做後設資料同步。

![](https://oscimg.oschina.net/oscnet/up-792741332ffbbcec6183f73714f4ef15216.png)
*圖13 ShardingSphere 物理部署架構*

**5、 ShardingSphere 效能優勢與適用場景**

下圖展示了 ShardingSphere的極致效能優勢。Sysbench點查場景中，資料庫單點效能是4.8w的 QPS，透過中介軟體擴充套件後，底層使用5個資料庫節點做了分片，整體吞吐量提升了4～5倍，呈線性增長。讀寫場景優勢更明顯。

我們今年聯合openGauss社群進行了TPC-C測試，一共是16臺鯤鵬裝置，其中8臺部署了openGauss，透過7個JDBC測出了1000萬tpmC，現在我們也在做更進一步的最佳化提升。

![](https://oscimg.oschina.net/oscnet/up-7725cef458e93f09356d3386eda73a343ac.png)
*圖14 ShardingSphere 極致效能體現*

**6、 ShardingSphere 適用場景**

-   **海量儲存資料分片**。資料庫容量達到單體瓶頸場景下，透過橫向水平擴充套件，可以有效解決單體資料儲存容量問題，並可實現平滑資料遷移。
    
-   **異構資料計算**。面臨資料庫碎片化現狀，打通異構資料庫計算壁壘，提供聯邦查詢計算能力。降低異構資料庫使用成本，提升計算效率。
    
-   **資料安全**。面臨日益嚴重資料安全問題，透過多維度的資料加密能力，解決資料儲存安全問題；並透過完善的資料行為的審計能力。
    
-   **大規模高併發**。網際網路化的核心場景下，資料庫響應變慢等問題。提供彈性擴充套件能力，實時提升資料庫響應和計算能力。

![](https://oscimg.oschina.net/oscnet/up-d8850df521b1d68c9064b0617777522cf5b.png)
*圖15 ShardingSphere 適用場景*

**6、 ShardingSphere 解決方案**

基於 SphereEx-DBPlusEngine 的可插拔架構底座，將分散式資料庫的核心能力中，與企業業務貼近的垂直功能排列組合，在資料庫替換，海量資料儲存，高併發訪問與資料安全儲存等場景，提供對應的解決方案。

-   **分散式資料庫解決方案：** 為解決原有方案的技術瓶頸，降低更換架構帶來的複雜性風險，在不更換原有架構前提下，實現資料庫同步，管理多個異構資料庫叢集，線性提升資料儲存容量及併發吞吐。為使用者提供基於資料分片，分散式事務、彈性伸縮的分散式資料庫解決方案，兼具單機交易型資料庫穩定性和分散式資料庫的擴充套件能力。

![](https://oscimg.oschina.net/oscnet/up-d474033a4fe355d6ee5579b2e6acb7d6983.png)
*圖16 分散式資料庫解決方案*

-   **資料安全解決方案：** 為了防止資料洩露，保護資料安全，提供基於產品的資料加密和資料脫敏功能。在不改動原有程式碼的前提下，為企業提供跨平臺、異構環境的資料安全解決方案。

![](https://oscimg.oschina.net/oscnet/up-0794ef3377c5d7670e985e9faadea561cff.png)
*圖17 面向資料控制的解決方案：資料安全*

![](https://oscimg.oschina.net/oscnet/up-f69461d237bf0c1cba0e7ebdc248c7c1727.png)
*圖18 全鏈路壓測解決方案*

-   **全鏈路壓測解決方案：** 基於核心的 SQL 解析能力，以及可插拔平臺架構，實現壓測資料與生產資料的隔離，幫助應用自動路由，支援全鏈路壓測。幫助使用者實現在生產環境進行壓測，所獲得較為準確地反映系統真實容量水平和效能的測試結果。

**ShardingSphere 最佳實踐**

下面我們透過兩個案例來了解ShardingSphere 的最佳實踐：資料分片和異構雙寫。

**1、案例一：千億資料量級金融場景（分片場景）**

這是目前已知最大規模使用ShardingSphere的案例。該場景中，ShardingSphere支撐了6400分片、超過 1000億條交易記錄。在早期業務規劃階段，已經考慮了它資料量比較大、併發比較高的情況，因此在業務程式碼中實現了資料分片邏輯。但隨著業務不斷迭代，研發人員需要不斷的在分片的邏輯上耗費較多的精力。

基於這樣的情況，我們採用了下圖右側中的架構模式，業務透過ShardingSphere-JDBC來完成資料Sharding，基於客戶端的模式可以最大化地發揮效能，代理端Proxy為DBA提供維護入口。透過改造，系統的擴充套件性得到了極大地改善，更重要的是業務人員也可以更專注於業務研發。

![](https://oscimg.oschina.net/oscnet/up-6bbd29cbfbf426526093b6357fa0a7d202c.png)
*圖19 ShardingSphere 在京東白條中的實踐（信創場景）*

**2、案例二：異構資料雙寫場景**

在某國企資訊系統替“O”改造中，客戶的核心訴求是系統穩定，相比上線時間的deadline，切換過程的平滑、穩定和完善的回退機制是客戶最為關注的。基於這樣的要求，我們的解決方案如下：一是雙軌執行，應用請求會透過Driver元件向異構庫分發，從應用到資料庫全流程打通，確保可回退；第二是要實現逐步的切流，即在正式切換前的一段時間，Oracle只做寫備份，國產DB把所有的讀流量都承擔過來，各項指標滿足要求後再考慮下線Oracle。

實施中，首先需要對異構庫做一次存量資料遷移，當兩端存量資料同步完成之後，開始啟用DBPlusEngine的這一層的雙寫能力，以XA的方式去保證兩端資料的一致性，整個流程均為線上完成。

中間層具備底層資料庫節點角色的捕獲能力，以此來確定信創庫HA的狀態。極端情況下，當信創庫出現叢集級別異常，XA會自動退化為local事務，當故障處理完畢後，重新追齊資料，再人工啟用雙寫。ShardingSphere 透過自身強有力的異構資料雙寫能力，助力國產基礎軟體走好信創落地“最後一公里”。

![](https://oscimg.oschina.net/oscnet/up-dd3ed7fd11bb6292fc5787cab8f461e08f3.png)
*圖20 DBPlusEngine 在某國企資訊系統中的實踐*

隨著應用場景的多樣化，ShardingSphere 正在被推向更廣的應用平臺以及更深的技術場景，在實踐中持續驗證並最佳化自身的能力，同各路合作伙伴一起打造標準化的資料生態服務體系。

![](https://oscimg.oschina.net/oscnet/up-c5bf72c5f283bc26cd943d48aa3daeb6204.png)
*圖21 ShardingSphere 部分生態合作伙伴*

> 更多精彩內容，歡迎大家觀看現場影片回放與會議資料  
> 影片回放：[https://www.modb.pro/video/7305](https://www.modb.pro/video/7305?1025)  
> 會議資料：[https://www.modb.pro/doc/77274](https://www.modb.pro/doc/77274?1025)

- 檢視原文：[https://www.modb.pro/db/501303](https://www.modb.pro/db/501303?1025)
- 檢視【國產資料庫沙龍】國產中介軟體專場文章、影片回放資源：[回放資源](https://www.modb.pro/tag/%E5%A2%A8%E5%A4%A9%E8%BD%AE%E6%95%B0%E6%8D%AE%E5%BA%93%E6%B2%99%E9%BE%99?type=video)
- 檢視“國產中介軟體流行度排名”：[https://www.modb.pro/mwrank](https://www.modb.pro/mwrank?1025)

---

[墨天輪技術社群](https://www.modb.pro/?moli)正在舉辦[**【墨力原創作者計劃】**](https://www.modb.pro/db/513210?moli)長期徵文活動，首次參與活動即有機會獲得定製護腰靠枕；參與月更挑戰，還可以獲得定製隨身碟、羅技滑鼠、華為手環、100-300元現金獎勵等獎品，期待您的參與！

活動收錄了數百篇Oracle、MySQL、PostgreSQL以及國產資料庫相關的文章，包含資料庫安裝配置、效能調優、故障處理、高可用搭建等主題，此外也有K8s、Java、VUE等優質稿件。大家[點選此處](https://www.modb.pro/tag/%E5%A2%A8%E5%8A%9B%E8%AE%A1%E5%88%92?type=knowledge)可檢視有所技術文章。

> 具體活動規則可以檢視：[https://www.modb.pro/db/513210](https://www.modb.pro/db/513210?moli)，歡迎大家積極投稿！

墨天輪沙龍 | SphereEx代野：Apache ShardingSphere-從中介軟體到分散式生態演進之路

相關文章