全面提升體系化資料管理能力 | OceanBase 釋出全新3.X工具家族

得益於支付寶超過十年的核心繫統實踐，OceanBase 自 2017 年正式商業化以來，目前已逐漸應用在金融、運營商、政府、能源等眾多重點領域的核心繫統。

在深入到企業核心應用的過程中，我們逐漸發現，要想成為一個合格的企業級產品，單單依靠一個強大的資料庫核心遠遠不夠，只有通過完整的產品工具體系，才能真正幫助企業更加安全高效地解決資料管理的問題。

於是，我們將 OceanBase 工具體系的建設放到了與核心同等重要的地位。希望通過一整套完整工具體系，覆蓋資料全生命週期管理，為客戶提供自動化、精細化、系統化的資料管理解決方案。

在工具體系的協助下，普通使用者不再需要掌握深入的構架知識，也能夠高效的進行管理工作，極大降低了使用者的上手難度。 

OceanBase 工具體系已經提供了包括遷移評估、資料同步、資料整合、開發除錯、監控運維等一站式圖形化能力。同時，持續加強企業級管理能力，保持介面開放，切實幫助企業高效、穩定、安全、便捷的使用 OceanBase 資料庫。

在 OceanBase Server 3.2 釋出後不久，作為連線資料庫使用者和資料庫核心最重要的生態工具產品，OceanBase 3.X工具家族於2022年1月6日重磅釋出，在智慧化、易用性和安全性方面均進行了全面的完善和提升。

一、運維管理平臺 OCP

在 OceanBase 分散式架構下，節點數隨著業務發展持續增長，部署環境也逐漸從物理主機轉變為各種虛擬化設施、私有云、公有云甚至容器， 隨之帶來資料庫運維、管理、監控的複雜性，企業客戶面臨新的挑戰。

OceanBase 運維管理平臺（OceanBase Cloud Platform，簡稱 OCP）是一款為 OceanBase 資料庫叢集量身打造的企業級產品。提供對 OceanBase 叢集的圖形化監控管理和診斷能力，包括資料庫元件及相關資源的全生命週期管理、故障恢復、效能診斷、監控告警，智慧優化等。旨在協助客戶更加高效地管理 OceanBase 叢集，降低企業的IT運維成本和使用者的學習成本。

OCP 緊貼 OceanBase 分散式資料庫的系統特點和版本功能，支撐 OceanBase 資料庫安全生產三板斧：可監控、可回滾、可灰度，有效解決當下資料庫監控診斷和運維管理中遇到的諸多痛點問題，成為企業客戶運維 OceanBase 的最佳選擇。

OCP 效能監控示例

OCP 資料庫效能報告示例

在新版本中，OCP 新增了活躍會話歷史報告，提供資料庫歷史活躍會話資訊，輔助使用者、進行租戶效能診斷；備份恢復支援二次備份，同時也優化了 OCP 不同許可權使用者的視覺化內容，使使用者真正實現所見即所得。OCP 新增接管 OceanBase Proxy 的能力，實現了接管鏈路的完整性。除此之外，SQL 診斷增加匯出功能，方便客戶分析問題等等。 （* 完整的產品更新記錄參見官網 ）

01 “監控-告警-診斷”全鏈路整合，智慧診斷一鍵處理

監控告警和故障診斷是 OCP 提供的基礎能力。 

在本次釋出的新版本中，通過智慧化關聯分析，OCP 創新的將“監控-告警-診斷”幾個連續環節有機地結合起來。從監控或告警出發，採用人性化的引導方式，協助客戶快速發現故障的根本原因，並提供對應建議和一鍵處理的能力。

比如，效能監控中的告警資訊已經能夠與叢集、租戶、節點的診斷資訊智慧關聯。當某個叢集的 QPS RT 突然增加，在監控頁面通過智慧下探就能夠定位到耗時異常的具 observer 程式，再進一步展開 observer 程式資訊，可以看到程式所在主機的 IO 耗時異常，最終定位到一塊物理盤故障，並建議客戶更換。

本次更新新增了更為豐富的故障處理手段。比如在日常資料庫運維場景中，SQL 效能下降是最為常見的問題，可能的原因多種多樣，包括：執行計劃改變，SQL 執行受阻，熱點行鎖等等。針對不同的原因，OCP 提供了有針對性的修復能力供客戶選擇：通過繫結歷史計劃能夠修復因執行計劃變化導致的效能下降；通過 SQL 診斷能力發現導致熱點行的關鍵字資訊，並可進一步對關鍵字進行限流，在資料庫一級控制該熱點值併發請求的數量。通過資料庫層面提供的 SQL 併發限流和關鍵字限流能力，客戶不需要再依賴傳統的應用限流，簡化了應用架構的設計。

02 獨有異地容災部署，管 理平臺持續線上

隨著 OCP 功能的不斷增強，已經成為整個資料管理體系不可或缺的一部分。與此同時，越來越多的企業客戶要求 OCP 提供與 OceanBase 同樣的容災能力。在故障與災難面前，客戶不但需要資料庫服務線上，同樣需要管理平臺 OCP 保持服務。 

OCP 在本次更新中提供了異地容災的能力。當 OceanBase 採用多地部署時，OCP 叢集可同樣採用跨地域的部署方式。當其中的一個城市的 OCP 叢集 發生故障時，另一個 OCP 叢集將會承擔起對 OceanBase 叢集的運維、監控和告警的能力，保證管理平臺持續線上。

二、資料遷移同步服務 OMS

在全行業持續加速數字化的趨勢下，異構資料終端傳輸與大資料治理已成為企業數字化程式面臨的挑戰。資料遷移、資料同步、以及對異構資料的整合治理，已經成為企業數字化轉型不可避免的任務。

OceanBase 資料遷移服務（OceanBase Migration Service，簡稱OMS）是 OceanBase 一站式資料傳輸和同步的產品。它支援多種關係型資料庫，訊息佇列與 OceanBase 之間的資料複製，是集資料遷移、實時資料同步和增量資料訂閱於一體的資料傳輸服務。

資料遷移服務OMS功能說明

3.2.2 是 OMS 的里程碑版本，該版本鞏固了 Oracle、DB2、MySQL 等資料庫與 OceanBase 之間的資料複製能力，產品功能更為完整，效能全面提升。在大資料量、大事務等場景下，對產品穩定性、資源消耗等多個層面進行了深度優化。3.2.2 提供了業界領先的異構資料庫之間增量 DDL 的自動同步功能；通過智慧化手段提升了資料庫複製的連貫性；攻克了自動運維同步任務的難題。同時，新增支援跨地域部署，從而更加便捷、高效地支撐資料庫遷移和版本升級、資料庫跨地域容災、業務雙活、實時資料分析等多個業務場景。 （* 完整的產品更新記錄參見官網 ）

  OMS 介面示例

01 運籌帷幄，OMA 提前預知潛在遷移風險

• 資料遷移評估 OMA（OceanBase Migration Assessment）是 OMS 的重要組成部分，能夠對 SQL 語法與資料庫物件的相容性進行評估，通過視覺化報表展示結果，並提供修改建議。

• 除了對靜態物件的評估，OMA 還能夠在目標資料庫回放源資料庫的工作負載，以此對遷移後的效能進行預估， 提前發現效能瓶頸，優化存在效能問題的 SQL，為實際遷移工作的成功提供保障。 

本次更新後，OMA 將參與到資料庫系統遷移的整個生命週期中。

• 相容性評估：通過 OMA 完成源庫的資料庫畫像，方便使用者瞭解目前資料庫的拓撲情況、應用拓撲情況和資料庫的整體負載，以便制定相應的遷移策略。

• 效能評估：通過 OMA 抓取源庫 SQL 或通過負載檔案分析，回放對應的 SQL 至目標 OceanBase 資料庫中，長期驗證 SQL 的正確性和效能，並提供自動改造和自動優化建議。以幫助 OceanBase 查詢並解決相容性和效能的問題。此外，OMA還支援負載回放功能，對 OceanBase 資料庫模擬真實流量或倍數流量進行壓測，評估 OceanBase 資料庫的壓測效能，提供報告方便使用者進行決策，降低遷移風險。

• 在 OceanBase 資料庫進行升級或變更時：通過 OMA 的資料回放功能，測試新版 OceanBase 資料庫的效能情況並提供報告，降低升級和變更風險。

OMA 遷移評估報告示例

02 異地多活資料複製技術，高可用與高效能二者兼得

資料同步是 OMS 的重要功能之一， 而異地多活則是資料同步工具面對的最常見的場景。為了更好的支援異地多活、跨城災備場景下，資料同步對業務的支撐，OMS 新增支援多地域部署形態，使用者可以靈活的配置各地域的資源節點，藉助 OMS 強大的資料複製能力， 應用能夠實現就近讀取、就近寫入，極大地降低了網路頻寬傳輸消耗。

異地多活場景面臨的一個重要技術難題就是在複雜拓撲下防止資料迴圈寫入。OMS 採用獨創的事務流量識別技術，能夠在資料流中分辨出流量來自業務寫入還是同步平臺寫入，避免資料在多個節點間反覆同步。在保證多個地域的業務寫入會被同步到其他地域的同時，避免了資料的迴圈複製。

03 高效能分散式資料校驗技術，保證資料複製安全準確

資料正確性是資料複製場景的基礎要求，特別是對金融行業核心業務領域至關重要。資料同步平臺需要有反覆驗證資料正確性的能力，保證資料在同步的過程中既不能丟、也不能錯。

在此次更新中，OMS 提供了對流、批資料的高效能校驗能力，分單機和分散式兩種方式，能夠滿足使用者多樣化的使用場景。在多個資料來源混合複製場景中，除了資料一致性校驗，同時還能夠對校驗不一致的資料進行一鍵訂正。通過分散式併發校驗技術，OMS可同時校驗上千個例項的複製鏈路，使得整個校驗過程保持超高的效能。

04 持續提升資料複製能力，保障業務系統輕鬆遷移

OMS 對資料複製能力進行了大幅加強。

在增量同步的場景下， 提供 DDL 自動同步的能力，智慧化地解決同構或異構資料庫同步時物件定義變更的難題。藉助智慧 DDL 轉換框架，OMS 更能夠緊密貼合 OceanBase 的核心功能和相容效能力，提供專業精準的異構轉換規則，並採用最佳實踐方案完成異構資料庫 DDL 的自動轉換。

新增支援輕量 ETL 能力，使用者可配置規則，根據 DML 型別進行資料過濾，也可以自定義 where 條件過濾資料。OMS 的資料校驗功能會依據過濾條件進行自動處理，以保障全鏈路採用統一的過濾策略進行資料複製和資料校驗。

05 大量易用性優化，使用者體驗繼續升級

新版本增加了幾十項使用者體驗優化，比如：

• 優化視覺化操作流程，輕鬆配置遷移同步鏈路，提供多維度的系統監控，降低上手和維護成本；

• 提供更高效，更可控的告警機制，確保使用者隨時掌握鏈路狀態和可能發生的風險；

• 支援通過配置通配規則方式來選擇遷移物件，方便使用者快速、批量設定遷移物件；

• 新增專案標籤功能，方便使用者使用標籤進行過濾分組管理遷移、同步專案。

三、開發者中心 ODC

OceanBase 開發者中心（OceanBase Developer Center，簡稱ODC）是為 OceanBase 提供的企業級資料庫開發平臺。ODC 支援連線 OceanBase 中 MySQL 和 Oracle 租戶的資料庫，為資料庫開發者提供了日常程式開發、程式碼除錯、SQL 調優與診斷、會話管理和資料匯入匯出等功能。ODC 採用成熟的 B/S 架構，跨平臺，輕量化，易部署，同時還提供桌面單機版本，滿足個人開發者快速上手使用的需求，也提高了開發人員與 DBA 的協作效率。

在經過了新一輪的優化與提升後，迎來了 3.2 新版本。ODC 3.2 的核心目標是建立許可權模型，向安全管控邁出第一步。同時在穩定性和易用性方面更上一個臺階，在 SQL 執行、物件互動、結果集檢視與編輯方面做了大量優化工作，旨在為使用者享有更好的使用體驗。 （* 完整的產品更新記錄參見官網 ）

ODC 操作檯示例

01 新增公共資源管理，實現企業級安全訪問控制

日常工作中，資料庫管理者經常會碰到這種需要：希望開發者能夠有許可權訪問或操作某些庫時，不希望這類使用者獲取資料庫賬號密碼，同時能夠實時回收他們的許可權。依賴資料庫賬號體系是無法滿足這些需求的，這種情況下只能依賴外部的許可權系統。

作為企業資料庫開發平臺，ODC 3.2 提供了公共資源管控臺的能力。僅某些有管理員角色的使用者才可登入公共資源管控臺。管理員進入管控臺後可新建使用者，並通過角色為使用者賦權。同時對已存在的使用者，管理員同樣可對他們進行基本資訊修改、許可權調整以及刪除操作。

公共資源管控服務的引入，方便管理員對使用者連線進行集中化管控。通過對接企業使用者許可權體系，實現整合的資料庫連線許可權管理，極大提升了系統的安全性和管理的便利性。

02  靈活的結果集互動能力，體驗更接近經典桌面工具

傳統桌面開發工具通常會將結果集與外部程式適配，能夠實現與 Excel 等程式之間的複製貼上操作， 極大提升了開發過程的便利性。

ODC 雖然基於瀏覽器執行， 也同樣對結果集互動進行了優化。新版本支援結果集內部及與 Excel 間行列資料相互拷貝貼上。列模式檢視時能夠和表資料互動；複製部分結果集內容輸出到剪下板。當查詢出的結果集內容超過螢幕顯示時，支援 Ctrl+滑鼠滾動檢視超出螢幕外內容。結果集編輯時，文字欄位支援在單元格內通過 Shift+Enter 進行換行並支援給欄位單元格設定預設值。

ODC 本次迭代同時優化了函式、儲存過程、序列、程式包物件的新建、管理互動，並對會話屬性的編輯互動進行了調整，對連線斷連時的提示樣式進行調整，不再影響現有視窗內容檢視。

寫在最後

OceanBase 資料庫成長於網際網路業務環境，其工具體系的快速成長離不開企業客戶在核心繫統的生產實踐。在這裡，我們向陪伴 OceanBase 工具體系一路走來的所有客戶致以衷心的感謝。 

未來，我們將繼續堅持以客戶需求為中心，聽取更多企業客戶在真實場景的需要，於實踐中不斷磨練產品的質量和體驗。產品的易用性、穩定性、安全性、以及功能範圍也將會持續提升，在企業核心系統的執行管理中發揮更大的作用。 

往期推薦:

開發者喜歡的“夜宵”是什麼？揭祕開發者的獨特“口味”

2021 OceanBase 年度報告 | 用技術讓海量資料的管理和使用更簡單！

從2021分散式資料庫開發者大會裡，我們找出了這8個關鍵詞

可用性和易用性雙重飛躍 | OceanBase社群版3.1.2正式釋出

參與更多技術交流，請至 OceanBase 社群版 。