TiDB 幫助萬達網路科技集團實現高效能高質量的實時風控平臺

作者 | 陳新江 萬達網路科技集團大資料中心

萬達網路科技集團 是中國唯一的實業+網際網路大型開放型平臺公司，擁有飛凡資訊、快錢支付、徵信、網路信貸、大資料等公司，運用大資料、雲端計算、人工智慧、場景應用等技術為實體產業實現數字化升級，為消費者提供生活圈的全新消費服務。

萬達網路科技集團的技術團隊，建設和維護著一套實時風控平臺。這套實時風控平臺，承擔著各種關鍵交易的線上風控資料的寫入和查詢服務。實時風控平臺後端的資料庫系統在高效能，可靠性，可擴充套件性上有很高的要求，並且需要滿足如下核心功能和業務要求：

1. 風控相關業務資料實時入庫
2. 實時風控規則計算
3. 通過 BI 工具分析風控歷史資料
4. ETL 入庫到 Hadoop 資料倉儲
5. 應用開發側需要相容 MySQL，降低應用改造門檻

為實現上述業務目標，萬達網路科技集團的技術團隊在實時風控資料庫選型的早期階段，首先選擇了 MySQL Galera Cluster 作為資料庫叢集的技術架構。這套 MySQL 資料庫架構通過不同於 MySQL 主流複製技術的複製機制，實現在多個 MySQL 節點間建立強同步關係，實現資料的副本和高可用。但經過業務實踐，發現這套方案有諸多問題，其中比較突出的有以下幾點：

• MySQL Galera Cluster 自身的強同步機制以大幅度降低叢集整體效能為代價，叢集整體效能比單節點 MySQL 還差。所以不能很好的滿足“風控相關業務資料實時入庫”的業務需求。

• 同時，MySQL Galera Cluster 的 JOIN 支援非常弱，不足以支援 BI 相關的複雜分析。

• 叢集整體效能的短板加上對 JOIN 支援的薄弱，使得要在業務上實現大併發高效能的風控規則計算變的很困難。

風控平臺原來採用的 MySQL Galera Cluster 叢集架構

萬達的技術團隊還考察了市場上用的比較多的 MySQL 主從複製以及通過 MySQL Proxy 中介軟體實現分庫分表的方案。但這些方案，無論是高可用安全性，強一致性，還是對業務應用所需要的複雜事務／JOIN 操作以及橫向擴充套件能力上，都無法滿足實時風控平臺的業務要求。這些問題集中反映在以下幾個方面：

• 基於 MySQL 主從複製方式的高可用方案，容易出現諸如接入層腦裂和資料不一致的風險。

• 基於 MySQL Proxy 中介軟體的方案，缺少對分庫分表後的跨庫跨表的分散式事務支援以及對複雜JOIN 的良好支援，因此也無法滿足業務上風控規則實時計算和複雜查詢的需求以及對業務團隊的 BI 需求的支援。

• 基於 MySQL Proxy 中介軟體的方案需要業務程式碼的開發妥協，需要顯式設計和指定分庫分表的切分規則和路由配置，開發改造和運維成本顯著增高。

• 在實時風控平臺的高併發高效能的對外服務過程中，線上靈活擴容的相關工作在 MySQL Proxy 中介軟體架構中無法高效和可靠的實施。

最終萬達的技術團隊，通過評估驗證，選擇了 TiDB 幫助他們實現一個高效能，高可靠性和高擴充套件能力的實時風控平臺後臺資料庫系統。

TiDB 的整體框架圖

TiDB 產品和技術方案對業務需求的支援和助力效果，集中表現在：

1. 藉助 TiDB 的分散式計算和儲存引擎，叢集對外服務的處理能力大大增強，高併發實時的風控規則計算能夠輕鬆的處理完，相比較原來的 MySQL Galera Cluster 方案，單位處理效能提升了數倍。並且資料庫叢集獲得了線性提升和擴充套件的能力。

2. 叢集整體 QPS（萬級起）和 Latency (毫秒級) 對風控的實時性要求做出了技術保證。

3. 無需考慮分庫分表，對業務應用透明無侵入，應用開發和維護變得直觀且簡單。業務相關資料量規模和請求即便高速增長，也無需擔心應用的複雜調整和運維的風險。

4. TiDB 針對分散式事務和強一致性的完善設計以及對各種 JOIN 模式的支援，使得實時風控類和 BI 分析類的業務應用能夠高效執行。

這套實時風控平臺，藉助於 TiDB 的可靠性架構和高效能分散式處理能力，在業務生產環境已經穩定執行超過半年，期間經歷過環境問題導致的故障，經歷過諸如 “618” 高併發、大流量活動的嚴格考驗。

萬達網路科技集團大資料中心技術專家陳新江表示："TiDB 的表現讓萬達的技術團隊有了信心，接下來將在 TiDB 的基礎上，根據業務特點，擴充應用規模，增加諸如 TiSpark 複雜計算元件，整合 CDC 工具以提升 ETL 實時性以及增強 TiDB 運維管理能力等多項架構和技術演進工作，繼續在萬達的核心業務架構中發揮重要作用。"