同盾科技是中國領先的人工智慧科技企業。為了確保服務的低延遲和高可用性，同盾的技術團隊不斷尋找最佳的技術架構。經過長時間調研，他們最終選擇了新一代分散式資料庫 TiDB 作為離線層的核心資料庫，**基於 TiDB 打造的實時資料架構為風控智慧決策保駕護航**。

同盾科技是中國領先的人工智慧科技企業，專注決策智慧領域，致力於幫助政企客戶防範風險、提升決策效率。同盾科技堅持自主科技創新，多項演算法和軟體系統已達全球領先水平，並形成了“基於隱私計算的共享智慧平臺-智邦”和“基於人工智慧的決策智慧平臺-智策”兩大平臺，聚焦於金融風險、安全風險、政府治理風險三大場景，業務覆蓋全球數十個國家，為 22 大行業、118 個細分場景的上萬家客戶提供了領先且獨具特色的決策智慧解決方案。

## 風控業務場景對資料庫的需求與挑戰

作為一家第三方風控公司，客戶經常需要呼叫同盾的智慧決策服務去做業務決策，如電商大促期間防範黑產薅羊毛，個人信貸杜絕多頭借貸老賴行為等。因此，**同盾服務呼叫常常呈現出非常大的 TPS 請求**。同時，為了不影響客戶呼叫服務的質量與體驗，**同盾對低延遲和高可用有著硬性要求**。

基於這樣的特徵，同盾日均過億的決策服務呼叫，會產生包括非結構化/結構化多種資料結構型別在內的海量資料入庫。豐富的資料型別與多樣的細分場景，使得同盾科技必須使用多種資料庫去滿足不同的業務場景需求，在同盾的資料架構中包含了 Cassandra、MySQL、HBase、Redis、Mongo 等資料庫。

在同盾的資料架構中，大多數初始落庫的資料還比較原始，為了提供優質的資料服務用於智慧決策，技**術團隊構建了成熟的大資料平臺**，用 T+1 離線資料分析的方式去進行日常的離線資料分析作業，利用資料二次加工賦能上層的風控智慧決策。

但面對複雜的資料基礎架構，同盾在業務增長中也遭遇瞭如下挑戰：

- 同盾擁有線上數千個大大小小的 MySQL 工作例項，**資料十分分散**，有一些是核心的風控業務系統資料，有一些是後臺基礎架構平臺的資料，還有一些是集團 IT 系統資料，同盾希望透過集中化的方式對這些資料進行分析管理；
- 最開始同盾將上游 MySQL 資料同步到下游進行分析，但整個過程中**資料交換工作效率非常低**，整體作業分析的 SLA 無法得到保證；
- 由於上下游資料同步的阻塞問題，導致了離線資料同步實時性很差，**上下游資料經常出現資料不一致的情況**，非常影響提供給作業的資料質量。

其實同盾科技的業務場景並不複雜，只需要同步生產環境中數千個 MySQL 例項至下游的離線系統，提供給作業開發人員透過大資料平臺進行離線分析加工。**專案的核心目標是在海量資料落庫下，保障線上到離線資料的資料庫的準實時性和一致性，並提供優質的資料服務給內部的風控系統開發人員、演算法模型工程師和運營人員加工資料。**

## 為什麼選擇 TiDB？

經過長時間調研，同盾科技的技術團隊最後選擇了新一代分散式資料庫 TiDB 作為離線層的核心資料庫。同盾科技資料庫運維梁高升表示，主要有以下幾點原因最終促成同盾選擇 TiDB ：

首先，**TiDB 高度相容 MySQL 協議**，在 TiDB 的使用和運維過程中大大減輕了運維和開發人員的使用成本；

第二，TiDB 作為**分散式資料庫**，同盾可以把它看成一個大的資料庫例項，可以匯聚上游所有的MySQL例項資料；

第三，TiDB 具備**存算分離**的架構，可以讓同盾非常靈活地控制硬體成本，而不用一味堆砌伺服器；

最後，TiDB 擁有**非常活躍的社群**。即使在使用 TiDB 的過程中遇到一些問題也馬上能在社群得到解決。

## 解決方案

![1.png](https://www-website-strapi.oss-cn-shanghai.aliyuncs.com/prod/1_c850faa621.png)

最終，同盾科技資料庫團隊構建了一整套基於 TiDB 的資料流轉架構，該架構共分為三層：

### 實時資料層

同盾內部有 3000+ MySQL 例項，在實時資料庫層透過 MySQL Cloud 管控上游數千個 MySQL。

### 傳輸層

在傳輸層，從 MySQL Cloud 對接實時資料同步任務到內部 Otter，Otter 可以實現準實時同步 MySQL 資料，然後再由 Otter 實時同步資料到 TiDB。

上下游同步元件決定了資料在下游離線場景的整體資料質量，同盾對數千個 MySQL 例項同步資料的同時，需要保證其穩定性、低延遲及整體可控的管理成本。雖然 PingCAP 資料遷移工具 DM 支援全量/增量靈活的資料匯入場景，並具有較快的匯入速率，但目前單個 DM worker 只支援繫結一個資料來源，這限制了管理大量 MySQL 同步任務的需求。同盾最後選擇使用 Otter 作為常態化的資料增量同步平臺，但 Otter 只支援增量資料同步，且單任務吞吐有上限，同盾透過使用其支援 spark streaming 來進一步保障同步的吞吐和準實時性。未來在 TiDB 推出一個 DM worker 支援多個資料來源的特性後，同盾會再考慮進行替換。

### 離線資料層

離線資料層中的大資料平臺主要管控 TiDB 的後設資料和實際到下游的同步情況。在 Spark 執行作業的過程中透過 TiSpark 去訪問 TiDB，最後接入 Hadoop 進行分析作業。

## 業務收益

透過打造 TiDB 資料產品鏈，同盾科技實現了數千個 MySQL 資料的離線匯聚管理。TiDB 有著便捷易操作的 Dashboard 管理介面，運維無心智負擔，大大提升了資料庫運維團隊的管理運維和使用資料的便捷性與效率。同時，TiDB 的高效能保障提供高質量的資料服務，實現了準實時同步資料。

同盾科技資料庫運維梁高升介紹，同盾剛開始上線的是 TiDB 2.0 早期版本，在上下游資料同步過程中遇到了一些 TiDB 和 MySQL 不那麼相容的情況，如果在上游有大量資料更新的情況下，會出現同步阻塞的情況，導致同步的實時性、一致性出現問題。但 TiDB 版本迭代速度非常快，每個版本都會對效能及穩定性做出大量改進和最佳化，**在升級到 5.4 版本後，同盾就已經解決了大部分的相容問題**。而且在基準測試中，TiDB 的效能也得到了質的飛躍。

## 未來規劃

同盾科技是 TiDB 非常早期的使用者，多年的使用讓同盾確信 TiDB 是一款非常好的產品，**未來也會繼續致力於在更多的場景依靠 TiDB 生態落地賦能一些業務場景**。例如，雖然同盾的大部分作業是 T+1，但內部也有很多實實在在的實時分析場景，比如實時展示的 BI 系統，透過TiFlash 實時分析查詢引擎可以進一步提升分析效率，更及時地滿足實時分析需求；同盾國內線上業務針對海量關係型資料庫初始使用的是 MyCAT，但是 MyCAT 的運維非常困難，對開發也不是很友好，更像是上一代的分散式資料庫產品。後續，類似 MyCAT 這樣的場景也很有必要使用 TiDB 進行替換。

近幾年，隨著出海趨勢愈發火熱，同盾科技在出海業務勢頭也非常迅猛，業務涉及東南亞、北美、歐洲等多個區域，這就需要在谷歌雲、AWS、阿里雲等通用公有云上，有一款標準的分散式資料庫服務，幫助其在全球快速佈局業務。**而 TiDB Cloud 已經在各大主流公有云上提供服務，這也給同盾科技構建堅實的技術底座提供了更好的選擇。**

同盾科技 x TiDB丨實時資料架構為風控智慧決策保駕護航

相關文章