分享:CUDB for OceanBase分散式資料庫產品規模應用

OceanBase技術站發表於2023-04-13

歡迎訪問 OceanBase 官網獲取更多資訊:https://www.oceanbase.com/


本文來自社群分享,僅限交流探討。原文作者:中國聯通軟體研究院濟南分院 唐素珍、邱永剛。

原文轉載自公眾號:聯通軟體研究院(Chinaunicom-Software)

精雕細琢方為器,千錘百煉始成鋼。

聯通軟研院平臺架構部資料庫研發團隊,歷時13個月完成了對社群版OceanBase的最佳化改進,打造了ChinaUnicom Database for OceanBase(以下簡稱CUDB for OB)分散式HTAP資料庫產品。堅持邊用邊改、以改促用,使得該產品得到規模應用,取得良好的使用效果。

CUDB for OB完全適配了PKS體系,完美補齊CUDB 分散式HTAP資料庫的空白,為聯通雲產品體系再添新星。

CUDB for OB將產品的開通、使用、監控和運維全面接入聯通雲,實現產品資源的一點開通、一點交付、一點監控、一點運維和一點操作,為聯通雲租戶提供易用而專業的一站式服務。

一、產品特性

(一)高可用

社群版OceanBase在可用性方面是三副本能力,但存在監控體系不完善、突發異常流量無應對策略、資料誤刪除恢復繁雜及日常操作無管理等問題。資料庫研發團隊結合實際的生產場景,對全面監控、熔斷攔截、資料恢復、資料自治等能力進行研發實現及增強,用於提升資料庫高可用。

1.全面監控。

研發了涵蓋叢集級及應用例項級的監控指標體系,監控指標對接數字化監控平臺,實現監控一點可視、告警實時推送。

2.熔斷攔截。

實踐統計生產上資料庫相關的故障80%是由不規範的SQL編碼導致,彈性擴縮並不能從根本上解決問題,為此研發了SQL語句熔斷最佳化,連結數攔截功能,保障資源合理分配和業務可用性。

3.資料恢復。

研發了覆蓋全場景的資料恢復中心能力,用於誤操作時生產資料快速恢復,全庫恢復模式可在10鍾恢復TB級資料到任意時間點,精準恢復模式基於CLog解析功能,可按表主鍵、按表全欄位快速、精準恢復DML語句的誤操作。

4.資料自治。

對接在主研發的泛資料庫自治服務平臺CDAS,覆蓋應用的研發態、生產態、日常運維態對資料庫的使用場景,使人人都是DBA。

(二)省資源

為了保障資料庫高可用,一般按照流量高峰進行資源配置,波峰波谷最高差距可達10倍,導致資源利用率不高。同時為了高可用又採用一主兩備方式,備機閒置加劇了資源利用率低的問題。因此,資料庫團隊最佳化資源使用方式,研發自動彈性擴縮能力,提升資源利用率。

1.資源共享。

租戶共享資源 ,採用多租戶共享資源池建設模式,租戶間共享資源並相互隔離,提高資源利用率; 節點資源均衡利用 ,採用表均衡分佈在每個節點上模式,不再有備節點資源閒置問題,並且可以完全橫向擴容,資源利用率更高; 儲存資源高效壓縮 ,深度使用資料壓縮功能,相比MySQL可以 有效節省70-90%儲存資源

2.彈性擴縮。

研發了資料庫 租戶線上秒級縱向擴縮,TB數量級小時級橫向擴容 能力,實現 應用無感知擴縮容 ,應用無需為了應對高峰訪問而冗餘大量資源,從而提高資源利用率。

(三)遷移快

當前,生產上還有很多應用採用MySQL 5.5、MySQL 5.6、MySQL 5.7等版本建設,生產問題時有發生,為了加快統一技術棧收斂,研發高度相容MySQL多個版本的離線遷移工具,支援將資料遷移至CUDB for OB, 實現10萬條/s遷移速度,已幫助應用遷移資料50TB+。

(四)信創適配

全面適配海光、鯤鵬、飛騰等CPU,以及麒麟、統信等作業系統,支援全棧信創,保障資訊保安,規避軟硬體技術“卡脖子”風險。

二、產品推廣情況

2022年3月份上線以來,資料庫團隊已將CUDB for OB產品推廣至總部及各省分共100+應用,200+天無生產故障(主機當機0影響)。

1681353392

三、未來展望

(一)統一技術棧,核心系統穩中求進

勇立技術前沿,豐富開源生態,收斂資料庫元件, 未來將實施替代600+套MySQL等高風險元件 ,實現新建系統“能用盡用”,核心系統穩中求進,逐步推廣應用。

(二)能力提升,試點多中心多活

兩地三中心五副本容災能力解決方案落地實踐,異地災備/雙活平臺架構建設, 實現地域級、機房級無損容災(RTO = 0) ,支撐 7x24 小時持續服務,滿足應用業務能力雙活需要。

(三)中心化建設,資料庫運維智慧化

資料庫產品能力建設體系化、中心化,圍繞著產品部署、使用、監控、維護等場景,打造產品交付中心、操作中心、資料恢復中心、資料解除安裝中心、感知中心和運維中心,基於大資料和AI能力,實現資料庫的自感知、 自修復、自最佳化、自運維、自安全。

(四)貢獻開源,自研功能共享共建

秉承擁抱開源、使用開源、貢獻開源的原則,將聯通自研OceanBase資料離線遷移工具、基於CLog的精準記錄恢復工具等對外開源,共同做好產品生態工具的建設和維護。


歡迎訪問 OceanBase 官網獲取更多資訊:https://www.oceanbase.com/

相關文章