達夢透明分散式資料庫介紹

始於腳下發表於2020-12-10

達夢透明分散式資料庫(DM Transparent Distributed Database,簡稱 DMTDD)架構旨在提供具有分散式特性的可擴充套件、高可用、高併發資料庫解決方案,以滿足具有高併發、大規模資料儲存、業務快速擴張等特徵的使用者業務對資料庫的要求。

DMTDD 的主要特點包括:

    可擴充套件 計算層、日誌層和儲存層均可按需擴充套件。

    高可用 個別計算節點和儲存節點出現故障不影響整個系統正常提供服務;日誌伺服器和目錄伺服器也具有主備容災能力。

    高併發 可配置多個計算節點同時提供資料庫服務。

DMTDD 可提供的主要技術指標如下:

1. 最大儲存空間:PB 級

2. 最大副本數:10

3. 最大計算節點數:32

4. 最大儲存節點數:10000

5. 其它指標:同普通單機資料庫一樣

達夢透明分散式資料庫介紹

圖1  達夢透明分散式資料庫架構

達夢透明分散式資料庫由計算層、日誌層、儲存層和目錄伺服器構成。其中,日誌層和儲存層的各元件統稱為分散式檔案系統 DFS。

計算層: 由達夢資料庫伺服器面向使用者提供併發的 SQL 服務,每一個節點都是一個資料庫伺服器(DS, Database Server)。 例如,如果計算層是一個 DMDSC 叢集, 那麼每一個 DS 則對應 DMDSC 叢集中的一個例項。達夢透明分散式資料庫可以將計算層部署為DMDSC 叢集、 DM MPP 叢集或單機資料庫的分散式資料庫,即“DFS+DMDSC”、“DFS+DM MPP”或“DFS+單機” 三種組織形式。 其中, 計算層部署為 DMDSC 是 DMTDD 中一種典型的應用場景。在該典型應用場景下,計算層技術是基於達夢共享儲存叢集技術發展而來,因此繼承了以下功能:

    完整的 SQL 標準支援: 包括複雜關聯查詢、儲存過程、包、觸發器、檢視、序列等其它分散式資料庫無法支援的特性。

    多點寫入: 每個 DS 節點都提供完整的資料訪問服務,能夠支援增刪改查請求,併發的寫入操作可以分散到多個節點。

    強一致性: DS 節點間通過快取交換技術,可以保證跨節點的資料強一致,在此基礎上,能夠支援跨節點的多版本併發控制和完整的事務隔離級。

日誌層: 由具有容災能力的日誌伺服器 DRS 構成,負責從 DS 實時接收資料變更日誌,完成日誌的儲存和訪問服務,並向儲存層轉發 REDO 日誌。相對於其他廠商的分散式資料庫方案,本架構設計獨立的日誌層,能夠較好地實現日誌負載的獨立處理,避免日誌寫入對計算層和資料儲存層產生資源爭用。同時, 獨立的日誌層設計能夠簡化儲存層的邏輯,改善儲存層的處理效能。

儲存層: 儲存層是一個支援多副本的分散式儲存系統,包含多個儲存伺服器 DSS,主要提供資料儲存服務,按照 DRS 轉發的 REDO 日誌更新資料。儲存層支援持續的資料頁更新,且資料頁更新是基於 REDO 日誌回放機制,而非傳統資料庫的檢查點資料頁刷盤機制,因此在 CPU 資源佔用、記憶體頻寬佔用、資源峰谷差異等方面具有更好的表現。

目錄伺服器: 除計算層、日誌層和儲存層三個主要組成部件外,本架構還包含一個獨立的目錄伺服器 DCS,負責提供整個分散式叢集的後設資料資訊,主要包括叢集的拓撲和資料副本的分佈資訊。由於 DCS 承擔負載較小,因此採用單一節點即可滿足效能要求。從高可用的角度來看, DCS 短時故障也不會影響整體系統執行,因此 DCS 可以用一般的高可用方案,如 HA、主備等即可滿足要求。

2020 年11月25日,武漢達夢資料庫股份有限公司在北京舉行“利劍出鞘,智啟未來-2020達夢創新產品釋出會”中正式釋出四款自主研發的國產資料庫新品,其中就包括達夢新一代分散式資料庫。達夢新一代分散式資料庫,選擇了原生分散式資料庫技術路線,在設計之初就針對分散式架構進行設計,基於RAFT協議,來保證資料強一致。新一代分散式資料庫可支援兩地三中心或三地五中心等部署模式,實現資料中心故障、地區性災害的容災能力。不同於市場上一般的分散式資料庫產品,該產品通用性好,在滿足各種高階別的功能的同時,仍然能夠保持集中式資料庫的使用體驗。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31403259/viewspace-2741097/,如需轉載,請註明出處,否則將追究法律責任。

相關文章