![](http://img.blog.itpub.net/blog/2023/02/02/8807d3f89ffe9551.png?x-oss-process=style/bb)

*文 / 廣發證券資訊科技部*
*來源 / 金融電子化*

隨著資訊科技應用創新試點範圍不斷擴大，能否勝任更多業務場景，是各行各業當前階段選型資料庫的關鍵。早在 2019 年，廣發證券即開啟對分散式架構的資料庫產品進行調研，並經歷了單主從讀寫分離、多套單機主從的分庫分表，以及原生分散式資料庫等不同的產品形態。

2021 年底，廣發證券透過估值系統應用架構分散式升級，同時使用 OceanBase 原生分散式資料庫，落地證券行業首個資訊科技應用創新產業估值系統。新一代估值系統為長期業務增長打下堅實基礎，同時對行業內估值系統的全面升級改造起到借鑑和推動作用。此次“廣發證券基於 OceanBase 分散式架構的新一代估值系統”專案憑藉對整個估值核算效率顯著提升，以及多項技術創新，榮獲“2022 第十三屆金融科技應用創新獎”。

## 單體架構升級為分散式架構

證券行業核心的兩類場景分別是集中撮合交易與估值核算處理。由於單體架構先天限制，在容量和效能遇到瓶頸時無法橫向動態擴容，制約了這兩類場景中系統的整體處理能力。隨著業務發展，廣發證券估值系統舊有的單體架構和強依賴於 Oracle 特性的計算服務，在清算、核算批次執行時 CPU 已經接近滿負荷，單純依賴提高伺服器配置已經無法較好滿足業務發展需要，必須從系統整體架構上進行升級改造。

新一代估值系統整體採用微服務技術平臺開發，透過以下的改造最佳化，充分發揮分散式架構的橫向能力，實現系統效能整體提升，在大資料量的環境下，大幅降低批處理時間，提高向基金管理人提供估值核算資料的及時性。

- 一是“化整為零”，將原有系統中的大事務分拆為小事務，並實現資料批處理記憶體化。透過拆解大事務，尤其是拆解大資料量的 DML 語句，確保系統可以並行處理。同時，將原有複雜的資料庫 SQL 邏輯，透過資料載入到記憶體中處理，利用記憶體低延時的特點，大幅提升處理效率。

- 二是“分而治之”，透過最佳化表結構設計，使得資料便於分庫、分表、分片。最佳化程式設計，結合單元化的思想，將引數依賴、服務依賴等外部依賴分解，最佳化處理流程，提升並行效率。

- 三是“化繁為簡”，透過簡化業務邏輯，適應分散式資料庫的特點。透過“非同步化+定時校對+補償”的柔性事務設計，減少甚至避免產生分散式事務，提升系統處理的吞吐量。

- 四是“借力使力”，發揮分散式資料庫自身的能力。如分割槽、表組等特性，多管齊下，降低系統架構最佳化的設計難度和開發難度，提升研發效率。

另外，金融行業對系統災備能力有著極高的要求，系統的部署架構設計是對災備應對期望（RTO 和 RPO）的體現，同時受機房數量、網路情況的影響。廣發證券新一代估值系統應用服務採用分散式部署，同時引入原生分散式資料庫，需要延續證券行業一貫的災備規範以及使用習慣。 **分散式部署架構天然能夠消除機房內單點故障，同時分散式資料庫在叢集內高可用基礎上也實現了叢集間的“主備庫”，透過物理日誌的複製和資料壓縮，降低對機房間網路頻寬的要求。藉助分散式資料庫叢集內多副本多活，叢集間可靈活選擇同步強度等級的特點，實現 switchover 計劃內切換、failover 故障切換，以及備庫獨立執行三種災備切換能力，滿足證券行業常見的機房災備切換、日常演練等要求。**

![Image](https://img.alicdn.com/imgextra/i3/O1CN01oF48SY1LPmWhjgPpN_!!6000000001292-2-tps-1080-352.png)

## 估值系統的原生分散式實踐

從資料庫整體路線建設的視角看，本次新一代估值系統引入原生分散式資料庫，給廣發證券帶來了基於多租戶能力的 DBaaS 體系，即在一套資料庫叢集內，秒級交付邏輯隔離的資料庫資源，快速響應業務對資料庫的使用需求，並且租戶規格可線上靈活調整，應對不同等級、不同規模的業務系統資料庫資源整合。

廣發證券在前期選型驗證中曾測試過，租戶規格的擴充套件可分為垂直擴充套件（增加單元資源配額）與橫向擴充套件（增加單元數量）兩種，分別應對不同業務場景的需求。對於需要更多計算資源的大事務 SQL，增加 CPU 與記憶體配額能夠支援更大的並行度，從而讓資料處理速度跟上資料增長；對於併發數可能增加的線上交易類業務，以及儲存容量突破單機瓶頸的 level2 行情資料類業務，則可以增加租戶的單元數量，讓更多硬體節點共同承載租戶壓力，應對業務增長。

除此之外，早期分散式形態的資料庫產品，通常具備讀寫分離、分庫分表等能力，券商的部分業務場景對這兩種使用方式有一定經驗，引入新的原生分散式資料庫，需要了解類似場景業務如何銜接過渡。

對於讀寫分離，在 OceanBase 產品體系中，無需額外引入中介軟體，透過 OBProxy 即可開啟“弱讀”，將事務以外的 select 請求發到非 leader 的租戶副本；在行情、訊息推送等讀多寫少並且存在讀寫時間差的場景，該功能能夠發揮各個資料副本的算力，提升系統效能容量上限；對於分庫分表，OceanBase 的分割槽表模式與早期的分庫分表方案有些許相似，也有其特有優勢。

- 相似之處在於：對於單個表而言，需要指定分割槽鍵，該表的資料才具備被分佈到不同硬體節點的條件，由應用根據實際情況決定是否需要分散式。

- 不同之處在於：OceanBase 本身是一個分散式形態的資料庫，因此具備全域性統一的檢視，資料能夠在不同節點分佈，正是因此具備了表組（TableGroup）能力，以及在分散式架構下，能夠支援生成複雜執行計劃和儲存過程。

![Image](https://img.alicdn.com/imgextra/i1/O1CN01B6eomn1Y6AZX3KAIu_!!6000000003009-2-tps-1080-367.png)

## 擴大應用場景，全面提升基金運營核心能力

廣發證券此次估值系統資訊科技應用創新產業試點是全功能完整試點，實現了一套系統對全產品型別的估值核算的統一化管理，支援多市場、多品種、多幣種核算，同時實現自動估值服務，全面提升估值核算的自動化水平和整體運營效率，提升基金運營業務的核心競爭力。需要強調的是， **該專案真正驗證了資訊科技應用創新產業加速核心業務系統自主可控的可行性，為解決我國“卡脖子”問題，新增了一條行之有效的實踐路徑。**

打通核心系統全棧資訊科技應用創新產業的最後一公里。我國推進資訊科技應用創新工作已有一段時間，從辦公系統到一般業務系統，再到核心系統，從晶片到伺服器、網路裝置等，以點帶面、逐步推進。尤其對於核心系統的資料庫，儲存著企業最重要、最關鍵的資料，是整個企業的生命線，不容有失。因此，核心系統的資訊科技應用創新產業工作，需要整個企業的 IT 部門、業務部門提升覺悟並達成共識，持續不斷地堅持投入，穩步推進。

樹立 IT 架構轉型的典範工程。新一代估值系統應用層採用分散式架構設計，使用微服務技術開發，實現系統的橫向彈性擴容能力，應對交易請求高峰低谷特徵明顯的證券業務；在資料持久化方面，透過原生分散式資料庫，實現資料讀寫分離、分庫分表、彈性擴充套件，多副本冗餘的能力。透過一系列的改造和最佳化，解決了舊系統的單點瓶頸和對資料庫特性的強依賴，使得系統具備了高效能、高容量、高可靠的特點。

透過系統從應用層到資料層的整體分散式改造最佳化，得益於伺服器資源的橫向擴充套件能力和並行度的提高，在測試環境的條件下，將整體跑批時間由 1 小時縮短為分鐘級，提高了估值核算資料的及時性。

以下是壓測調優的環境和效果對比：

![](https://img.alicdn.com/imgextra/i2/O1CN01ozjunK29KUk6bY8st_!!6000000008049-2-tps-1080-269.png)

新一代估值系統能夠快速完成跑批清算，並且具備橫向擴充套件能力，這直接提升了廣發證券的基金運營效率，同時估值系統的下游關聯絡統也能夠更快獲取到所需資料，並且隨資料量增長帶來的跑批慢問題可透過分散式應用和原生分散式資料庫的擴容解決，讓業務開發人員能夠專注於新功能實現，最終共同更好地服務於業務，樹立了 IT 系統架構轉型工程的典範。

本次估值系統資訊科技應用創新產業的試點落地，讓廣發證券瞭解了 OceanBase 的使用特點與運維方式。後續，我們將會把分散式架構最佳化經驗和分散式資料庫的技術應用於更多業務場景，有效解決容量與擴充套件性的瓶頸，提升基金運營效率，降低運營成本，最終提升廣發證券對客基金運營服務能力的綜合水平。

廣發證券基於分散式架構的新一代估值系統實踐

相關文章