vivo 是一家全球性的移動網際網路智慧終端公司，品牌產品包括智慧手機、平板電腦、智慧手錶等 ，截至 2022 年 8 月，已進駐 60 多個國家和地區，全球使用者覆蓋 4 億多人。

vivo 為使用者提供了在手機上備份聯絡人、簡訊、便籤、書籤等資料的能力，底層儲存採用 MySQL 資料庫進行資料儲存。 **隨著 vivo 業務發展，使用者量增長迅速，儲存在雲端的資料量越來越大，海量資料給後端儲存和資料庫帶來了巨大的挑戰。雲服務業務最大的痛點，就是如何解決使用者海量資料的儲存問題** 。

本文介紹了 vivo 的資料庫和儲存系統，以及如何使用分散式資料庫 TiDB 解決海量資料挑戰。 **詳細介紹了 vivo 採用 TiDB 過程中的真實體驗，包括海量資料實時 OLAP 方案、雲服務業務中的後設資料管理方案，和基於自研的 NoSQL 資料庫 TiKV 的實踐**。 分享瞭如何解決海量資料儲存和管理的問題，以及提高業務效率和使用者體驗的實踐經驗。

## vivo 資料庫與儲存體系

![1.png](https://dev-media.amazoncloud.cn/9dc3aea1e68b402788b51c7dadafd0bf_1.png "1.png")

<center>vivo 資料庫與儲存體系產品矩陣</center>

在整個 vivo 雲服務體系中，資料庫與儲存處於核心位置，從體繫上可以分為兩層，最上面一層是工具產品層，包含資料庫儲存統一管控平臺、資料傳輸服務（支援資料同步、資料訂閱、資料遷移等）、運維白屏化工具等。下面一層是資料庫產品層，這一層又分為三個部分：一部分是 MySQL、 TiDB 等關係型資料庫；一部分是 Redis、ElasticSearch、MongoDB、磁碟 KV 等非關係型資料庫；還有一部分是物件儲存、檔案儲存、塊儲存等儲存服務。

![2.png](https://dev-media.amazoncloud.cn/ade58322e5374f89a11893f4de1e3a7e_2.png "2.png")

<center>vivo 資料庫與儲存運營管理</center>

為了管理這些眾多的資料庫與儲存產品，vivo 打造了一個資料庫與儲存運營管理平臺，主要分為三層架構：

>- 最底層是支撐、管理所有資料庫的工具產品，包含資料儲存服務、關係型資料庫、NoSQL 資料庫，以及生態工具；
>- 中間是功能層，包括基礎儲存服務、資料管理服務，以及儲存自治服務；
>- 最上面是運營層，包括許可權賬單、使用者管理、工單服務等基礎服務。同時還有一些安全相關服務，如資料脫敏、資料加密、許可權管控、命令通道、資料審計等一系列功能。

## TiDB 在 vivo 的落地實踐

![3.png](https://dev-media.amazoncloud.cn/872e7f87c8d54463891d9f76d65177b2_3.png "3.png")

此前，vivo 已經用了很多年關係型資料庫 MySQL。基於原生的 MySQL 資料庫，vivo 結合叢集高可用的管理與資料庫代理的一體化架構，透過域名服務、名字服務進行接入，提供通用的關係型資料庫服務。它主要具有三大核心能力：

- 第一，相容 MySQL 協議與 SQL 語法；
- 第二，增強 MySQL 叢集管控能力。vivo 引入 MySQL 的時間很早，在 MySQL 的一些叢集管控能力上都有自研的能力；
- 第三，安全增強能力，包括密碼管理、資料脫敏、資料加密等能力。
- 
本質上 MySQL 架構還是一個主從架構，並沒有分散式技術引入。針對資料量較大、流量較大的場景，或者分析場景，給業務帶來了巨大挑戰。基於以上原因，vivo 在對比了主流分散式資料後後考慮引入分散式關係型資料庫 TiDB，作為關係型資料庫產品矩陣的一環，補充整個關係型資料庫的能力。

引入 TiDB 幫助 vivo 解決了一些在 MySQL 生態中無法解決的問題：

- TiDB 可以解決資料量過大、流量過大的問題，以及海量資料分析的場景；
- TiDB 相容 MySQL 語法，業務遷移比較平滑；
- TiDB 支援水平擴充套件，相比傳統的 MySQL 複雜的分庫分表方式，TiDB 的擴充套件能力大大降低了運維壓力；
- TiDB 具備資料強一致性、高可用性，可以提供金融級資料安全性。
- 
vivo 研發團隊具有較強的自研能力，他們將內部所有資料庫統一實現了平臺化管理，這是一種提供高度自助、高度智慧化、高可用、低成本的資料儲存使用與管理平臺，包含從資料庫服務的申請、部署、維護、變更、最佳化，以及資料恢復、服務下線等一系列資料庫全生命週期的管理。

![4.png](https://dev-media.amazoncloud.cn/02ea49e7588c444ab8009f113dbf87d3_4.png "4.png")

在應用 TiDB 後，vivo 研發團隊同樣也將 TiDB 整合到該平臺中，實現諸如 TiDB 的自動化部署、服務維護、資料變更、資料恢復，包括一些還在持續建設中的能力，如服務最佳化、服務變更。這些能力與 vivo 的全球化業務場景息息相關。全球化業務場景要求更好滿足於本地客戶服務，以及符合本地資料安全相關的一些管理規範。所以 vivo 的服務都是本地化部署，平臺化的管理方式可以幫助運維、研發更好地支撐業務研發或者業務變更的效率。

該平臺一方面提升了 vivo 整個資料服務的安全性，如賬號密碼管控、敏感資料加密脫敏、整合的研發效能等。在業務開發團隊需要一個 TiDB 服務的時候，幾分鐘內就能得到一款分散式資料庫進行程式碼開發，降低了運維管理成本；運維（DBA）再也不需要登陸伺服器執行各種涉鑰命令；最後，平臺也大大提升了資料的可用性。vivo 資料庫團隊將一些 TiDB 的備份恢復工具及資料庫的可用性也整合在平臺裡。

## 應用場景

### 推送業務基於 TiDB 的海量資料實時 OLAP 方案

![5.jpg](https://dev-media.amazoncloud.cn/6eaccfa26f9d4f659e2722346caac62a_5.jpg "5.jpg")

vivo 的推送業務基於 TiDB 實現了一套實時 OLAP 方案。該場景中具有千億級別的資料指標，vivo 希望資料在資料指標寫入時可以實現秒級入庫。同時，該場景還要求以月度為範圍秒級出報表。原方案中使用了其他 OLAP 資料庫方案或 MySQL 方案，在出報表時總會給資料庫叢集服務造成很大壓力，指標的計算性、時效性也很差。尤其當面臨海量資料時，查詢與指標變更成本會變得很高。引入 TiDB 後，vivo 可以從實時鏈路裡直接把資料秒級寫入，再透過 DM 工具，把關係型資料庫裡面維度的資料，以及其他相關聯的資料都同步過來，最終在 TiDB 中進行多表關聯，為終端使用者提供資料服務，如 BI 報表等。在該場景中，TiDB 的高效能、低延時等特性解決了 vivo 資料量大、時效性高等難題。

### 雲服務業務基於 TiDB 的海量後設資料管理方案

![6.png](https://dev-media.amazoncloud.cn/9566940d80814fb09ff42a3fcdf5a87b_6.png "6.png")

vivo 雲服務是 vivo 為使用者提供的在手機上進行資料備份、資料恢復同步的一款服務。這款服務用到了物件儲存與檔案儲存，同時有大量的後設資料需要儲存。原方案使用了 MySQL 分庫分表的方式，但 MySQL 實際上還是一個單叢集方案，分庫分表的業務邏輯需要在業務層實現，這就需要解決複雜的業務邏輯問題。同時，分庫分表造成運維十分困難，擴容成本高、擴容耗時間長。基於以上原因，vivo 基於 TiDB 實現了一套海量後設資料管理方案，支撐了 vivo 百億級別的後設資料表和日誌資料表儲存，核心業務時延小於 50ms。

## 基於 TiKV 自研的 NoSQL 資料庫實踐

由於 TiDB 整個產品都採用開源的模式，vivo 並沒有滿足於只作為 TiDB 的使用者，還基於 TiDB 的底層儲存引擎 TiKV 自研了一款 NoSQL 資料庫，希望能夠實現一個高效能的、高穩定的多資料模型的分散式資料庫，用以服務內部大資料量儲存場景，降低整體資料庫的運營成本，同時還針對一些 AI 特殊業務場景的應用進行定製最佳化。

在此之前，vivo 的 NoSQL 資料庫產品矩陣中 KV 產品實際上只有 Redis，但 Redis 是基於記憶體的儲存，效能雖然很好，但存在資料無法持久化及成本高等問題。基於此，vivo 基於 TiKV 研發了自己的 NoSQL 資料庫。它相容 Redis 協議，能夠以很低的成本進行遷移，可以持久化大規模儲存 TB 級別，甚至 PB 級別資料，還具備高效能、水平擴充套件、高效故障切換、資料安全保證一致性等特點。之所以能做到這些，很大程度上是因為 TiKV 原本就具備了很好的能力，如儲存引擎水平擴充套件能力、高效故障切換能力、資料安全保證能力等。目前，這款 NoSQL 資料庫已經在 vivo 內部的推薦平臺、內部管理平臺、應用中心中應用。

![7.png](https://dev-media.amazoncloud.cn/c379a37cd58b46ecad498053590f4245_7.png "7.png")

透過引入 TiDB ，vivo 解決了原 MySQL 架構無法應對資料量大、流量大等挑戰，優秀的水平擴充套件能力及高可用特性支撐了 vivo 百億級別的後設資料表和日誌資料表儲存，核心業務時延不到 50ms 。同時，TiDB 的實時 HTAP 能力還幫助 vivo 解決了報表時效性問題。未來，vivo 還將持續在內部混合雲中雲化 TiDB 產品，將 TiDB 全生命週期的各個能力，在 vivo 內部雲上實現出來，支援更多的業務場景。

vivo x TiDB丨解決雲服務海量資料挑戰

相關文章