TDSQL 在微信支付資料密集型應用落地實踐

日前，騰訊雲資料庫開源產品TDSQL PG版（開源代號TBase）宣佈推出重磅升級——經過一年半的打磨，上萬張表訪問場景下，記憶體佔用節省60%；查詢效能提升百倍；SQL語句相容性增強。同時，大力提升原有資料庫版本在分散式場景下的易用性。

TDSQL PG版是一款具備HTAP能力、經過騰訊多年持續投入研發的資料庫產品，是騰訊雲資料庫團隊在開源的 PostgreSQL 基礎上研發的企業級分散式HTAP資料庫管理系統，能夠提供成熟的一站式解決方案。騰訊雲資料庫技術總監李躍森介紹到，“在首次開源的10天內，TDSQL PG版的Star數就達到了500多個。開源不久，就受到了歐洲航天局、國家天文臺，以及醫療健康、零售等各個行業使用者的青睞。”

作為新一代分散式企業級資料庫管理系統，TDSQL 一直以來都應用於微信支付核心系統，支援微信支付實現高效能、高可用、數字化應用。近年來，微信支付基於TDSQL PG版構建資料密集型應用，實現單表資料輕鬆突破TB級海量儲存，TDSQL PG版高吞吐、高併發，自動擴容的能力，充分滿足了微信支付的業務場景需求。

那微信支付應用TDSQL PG版的過程中經歷了哪些故事？TDSQL PG版在微信支付系統中又有哪些典型應用案例呢？

1

微信支付與TDSQL PG版的陪跑歷程

“如果要用一個形容詞來描述微信支付與TDSQL PG版的關係，那就是‘你儂我儂’。”騰訊高階工程師萬志穎在介紹微信支付案例時表示，“TDSQL PG版為我們提供武器，微信支付則為TDSQL PG版提供了充足的試煉戰場。”

以微信支付的商戶服務平臺為例，該平臺主要是為千萬級的商家提供帳單明細下載及帳單複雜條件查詢及統計分析的平臺。最開始，平臺使用開源MySQL作為底端儲存。但隨著京東等大商戶的接入，交易筆數逐步提升，資料增長單機儲存容量受限，微信支付遇到嚴重的容量瓶頸和效能瓶頸。在當時的技術背景下，微信支付迫切需要一個好的解決方案，於是就選擇了TDSQL PG版。

TDSQL提供的解決方案很好地解決了微信支付遇到的問題。在容量問題上，TDSQL提供了海量資料儲存的線上線性擴容能力；在大商戶的資料傾斜問題上，TDSQL基於雙KEY分佈等機制解決了資料儲存均勻分佈的問題；在分頁查詢效能問題上，TDSQL提供了基於Index only scan索引的相關最佳化方案，解決了傳統web應用分頁場景中總條數查詢耗時高的問題。

“在交易系統基礎上的更進一步應用的過程中，我們發現TDSQL PG版相關特性十分適合用於資料倉儲中的維表儲存，於是在2021年微信支付基於TDSQL PG版搭建了資料倉儲的維表管理系統，使其成為大資料生態中的重要元件。”萬志穎介紹。

2

TDSQL PG版在微信支付的應用實踐

近年來，TDSQL PG版助力微信支付構建資料密集型應用，持續擴充應用場景，在多個領域體現出比較優勢，保證了業務的穩定性和連續性。在此以報表系統和維表系統為例介紹TDSQL PG版在微信支付的應用實踐。

微信支付報表系統中，存在兩種典型的讀寫模型：一種是基於spark離線計算平臺週期性寫入，比如一天寫入一次，每次寫的資料很少，但也有可能寫的資料量是十億級或者百億級。另外一種是透過訊息佇列的方式進行實時寫入來構建實時報表。因為寫入端是大資料系統，每次寫入的資料量極其巨大，因此對底層資料儲存的寫入效能要求比較高。相比於開源MySQL，TDSQL PG版在並行寫入方面有明顯優勢，具備更好的並行寫入效能及吞吐能力，可以大幅降低我們資料入庫完成時間，也能夠支撐實時報表等場景的需求。

在報表頁面讀取資料方面，TDSQL PG版相比較開源MySQL具備更為豐富的索引型別支援。例如微信支付有一個業務場景是從百億級資料中模糊檢索商戶名稱，在引入TDSQL PG版前該場景的查詢耗時接近17秒，最佳化之後該場景的耗時直接降到50毫秒以內，效能實現了極大提升。

截至目前，TDSQL PG版已經累計承載了微信支付3600+報表的資料寫入、儲存和讀取，報表開啟時間均能穩定控制在3秒以內，為整個報表平臺的效能帶來極大的改善。

微信支付還基於TDSQL PG版來構建維表系統。維表是描述一個事物的不同角度，比如性別上的男和女，寫程式碼時的列舉值也可以認為是一種維表。接下來就以列舉值為例闡述微信支付如何基於TDSQL PG版來構建維表系統。

微信支付所有系統的列舉值都是基於履約建表系統進行統一的錄入，目前總共有2700+列舉值的資料，下游的OLTP資料倉儲中的計算任務以及報表系統、運營系統都會讀取這些列舉值。如果上游對列舉值進行了修改或者新增，而下游得不到感知，這就會給整個系統的穩定性造成嚴重後果。

為了解決這類問題，微信支付基於TDSQL PG版打通了OLTP系統與OLAP能力融合的維表系統，在OLTP維表管理系統中錄入或更新維表資料後，不論是在線上業務中、Spark計算中或者是報表系統中，都能實時引用最小的列舉值資料參與計算。與此同時，資料使用方也可以直接在資料倉儲中看到每個列舉值欄位的列舉值，不需要一層一層去查詢，列舉值管理的複雜性得以控制，降低了相應的質量風險，達到金融領域應用的要求，極大的提高了我們的維護效率。

在整體運營上，目前微信支付在TDSQL PG版的儲存量已經達到400TB+，每秒的請求量超過24萬次，99.6%的請求基本上耗時都可以控制在10毫秒以內，充分滿足了微信支付的在效能和穩定性上的高要求。

TDSQL是騰訊雲企業級分散式資料庫，旗下涵蓋金融級分散式、雲原生、分析型等多引擎融合的完整資料庫產品體系，提供業界領先的金融級高可用、計算儲存分離、資料倉儲、企業級安全等能力，同時具備智慧運維平臺、Serverless版本等完善的產品服務體系。

截至2020年，TDSQL已對外服務數千家金融政企機構，同時廣泛覆蓋遊戲、電商、移動網際網路、雲開發等泛網際網路業務場景，助力新零售、教育、SaaS、廣告等超過4000家行業客戶進行數字化升級。

瞭解本次分享的更多詳情，請搜尋關注“騰訊雲資料庫”官方微信獲取。