資料庫實踐如何解決網際網路架構轉型中的痛點

在2018雲棲大會上海峰會中，來自阿里巴巴資料庫的高階技術專家王林平為現場的聽眾帶來了題為《網際網路架構轉型中的資料庫實踐》的精彩分享。在本次分享中，他重點介紹了網際網路發展經歷的痛點，資料傳輸DTS，阿里巴巴資料管理，混合雲資料庫管理，資料庫備份，基於HDM、DBS、DTS的容災解決方案等。

網際網路資料庫發展經歷的痛點

網際網路資料庫發展過程中，我們在做IT建設的時候都會碰到一些痛點。在這個過程中，如何解決這些痛點非常重要。第一，許多企業都會面臨的資料和業務都會從簡單到複雜，資料量由小到大的過程，在這個過程中，資料可能會出現在單一的資料庫無法儲存的情況，那麼這個時候我們如何提升擴充套件性呢?第二，我們的業務發展了，資料也發展了，但是人有沒有跟上業務發展的節奏呢?第三，我們的企業在從小到大的過程中多多少少都會有一些核心的資料，比如客戶的使用者資訊，包括一些基礎性配置資訊。這些資訊很多時候是企業裡很多部門都能用到的，那麼核心資料如何共享呢? 同時，企業在用不同的資料庫的過程中，這些資料庫之間的資料怎麼進行資料互動也是我們面臨的一個痛點。第四，我們的研發人員和控制人員也會隨著業務規模的增長不斷增加，我們怎樣在人員多的時候保證資料的安全和規範性，同時又不影響開發和測試的效率呢?最後，資料是企業的核心資產，如何提高資料庫的容災能力，保證我們的資料不會因為天災人禍等丟失?下面以阿里巴巴整個改造過程中碰到的痛點來介紹一下我們的產品。

上圖為阿里巴巴分散式資料庫的發展歷程。目前阿里巴巴透過分散式資料庫解決問題。DRDS產品支援多維度的拆分，比如說我們可以按照交易的ID、客戶的ID、按照時間來做拆分。

上圖為分散式資料庫DRDS的一個典型客戶案例，一個電信運營商的案例。它在業務發展的過程中有增速快、擴充套件性存在瓶頸的痛點。同時，如果客戶用傳統的方法拆分資料庫就面臨著應用改造成本高的問題。DRDS提升了儲存擴充套件能力和計算能力，訪問應用透明、平滑擴容、透明生配、透明讀寫分離解決了客戶應用改造成本高的問題。

阿里巴巴資料傳輸

產品有三個核心能力：支援傳輸同步，支援資料庫遷移，支援資料的訂閱。可以將資料變化轉換成訊息傳送給下游，下游可以根據這個訊息進行應用的電話的消費。

上圖為資料傳輸DTS的架構。在下層我們支援雲資料庫，包括ECS自建資料庫，使用者IDC資料庫以及集團、螞蟻。透過產品可以把資料遷移到不同的目標端，同時也支援資料同步訂閱。我們可以把資料庫的資料轉換成檔案。

上圖為資料傳輸DTS客戶案例。客戶面臨的主要問題有：本地的Oracle資料庫是客戶業務的效能瓶頸，活動時，Oracle上的儲存過程佔用了例項將近80%的CPU。並且要求在系統持續執行、不停機的情況下將Oracle上業務遷移到阿里雲DRDS。解決方案為：透過DTS搭建Oracle到DRDS例項間的實時同步鏈路，保證DRDS與Oracle資料實時同步。在DRDS和Oracle例項間的資料保持實時同步後，業務選擇任一時刻，將部分流量切換到阿里雲上的DRDS。透過DTS，將DTS上產生的業務流量流回Oracle,Oracle和DRDS在業務完成割接期間互為災備，保證業務連續性。阿里巴巴資料管理的前世今生。透過資訊化統一管理資料庫，同時透過非運維操作的規則化，自動化，規則加流暢的自助變更，目前DMS已經在公有云端正式商業化了，同時也支援私有化輸出。

混合雲資料庫管理HDM

上圖為混合雲資料庫管理HDM架構與能力，我們日常運維的工作基本上可以由HDM來解決。HDM的核心能力包括：打通混合雲資料庫架構，多環境統一管理，自動化運維低成本，容災切換，快速彈性擴容，一鍵切換，穩定、容災、彈性。

上圖所示為基於HDM、DBS、DTS的容災解決方案。最低階的方式就是我們把本地的備份直接的透過拉檔案的方式扔到OSS上，當然這樣比較低階。第二個就是我們可以透過DBS實時備份上雲，備份後也可以透過DBS還原到本地或者RDS上。第三我們透過DTS將雲下的資料庫同步到雲上的RDS。我們雲上的RDS跟雲下形成一個災備，也就是說一旦我們本地的IDC無法訪問的時候，我們就可以訪問雲上的RDS來保證業務的持續性。這場景是說我們雲下和雲上可以實現雙向同步。這個雙向同步其實可以實現異地多活，就是說我們在A機房有一套資料庫，B機房有一套資料庫，進行雙向同步，這兩個雙向同步可以支撐IDC訪問，雲上也可以訪問。只要應用端建設的足夠好，那麼這個雙活是可以實現的。同時基於我們的HDM可以打通我們的使用者IDC和雲上雲下，實現資料庫的容災一鍵切換。

企業級資料庫產品架構

剛才跟大家一起分享了幾個產品，下面我們來回顧一下這幾個產品的一些能力。首先是分佈性資料庫DRDS。我們可以理解它是一個儲存層，來滿足資料庫的擴充套件能力。第二個就是我們的資料傳輸。資料傳輸實現了資料遷移、同步和訂閱的能力，它可以把雲外的資料庫和雲上的資料庫打通。同時它不僅限於這些功能，包括我們自己內部。第三是我們的資料管理，可以理解它是一個資料庫層面的DevOps，讓我們企業的開發人員和測試人員不用進行太多的互動就可以完成資料管理這件事。還有就是我們的資料庫備份DBS，來以較低的成本滿足企業備份資料的需求。最後就是我們的混合雲資料管理HDM，可以打通雲上雲下的資料庫，實現一鍵容災切換。

企業級資料庫解決方案

除了產品之外，我們還會輸出一些解決方案，解決方案是依賴於產品的，給我們廣大企業提供一些方案。像研發效率保障和資料安全方案，這個是基於DMS。也就是說我們在輸出的時候，我們會幫企業把我們的產品用起來，同時給我們的企業一些建議，比如說我們怎麼去做到更高效、更安全、更合規的資料管理體系。第二是DTS。DTS本身具有資料遷移、同步的功能，同時也有訂閱功能，那我們會協助企業一起把DTS用起來，能夠把資料搬到雲上。再就是我們基於HDM、DBS和DTS，會給我們企業輸出多層級的容災解決方案。