【FIW2022精彩回顧】國泰君安新一代核心交易系統網路底座建設實踐

9 月 21—23 日，第一屆“金融現代化IT基礎架構轉型論壇（FinTech Infrastructure Wave 2022）”成功舉辦。該論壇由中國資訊通訊研究院雲端計算與大資料研究所、《中國金融電腦》雜誌社主辦，北京志凌海納科技有限公司（SmartX）與北京鯤鵬聯合創新中心協辦。論壇分為三大專場，覆蓋銀行、保險、證券、基金、期貨、信託六大金融細分行業，內容涵蓋多雲平臺建設、核心業務系統信創轉型、超融合關鍵場景落地、核心業務改造、資料中心零信任安全、基礎設施等前沿話題。

國泰君安 IT 基礎架構主管譚澤廷分享了新一代核心交易系統網路底座建設實踐。

文丨國泰君安 IT 基礎架構主管 譚澤廷

 

一、挑戰與目標

數字化轉型背景下，證券行業核心交易系統面臨四大挑戰：

一是高可用。目前，證券行業正處於持續發展階段，無論客戶還是監管部門，都對證券公司核心交易系統的高可用能力提出了極高要求，這就意味著對核心交易所在的基礎架構底座提出了更高要求。

二是高吞吐。伴隨證券市場的蓬勃發展，2015 年國泰君安在“大行情”時的交易峰值達到了每秒 5.2 萬筆；到 2022 年，國泰君安的客戶數量已達千萬級，是 2015 年的 3 倍，“大行情”時的交易量也迎來了更高的峰值。

三是低延時。證券市場交易永遠追求超低延時，雖然目前國泰君安的集中交易生產環境委託單筆延時僅為 30 毫秒，但依然無法充分滿足部分投資客戶的實際需求。

四是高安全。目前，集中交易系統大多使用 Windows 作業系統、SQL Server 商用資料庫和 Cisco 網路裝置，在全力推動數字化轉型的大背景下，亟須在下一代核心交易系統建設中採用我國自主創新的作業系統、資料庫以及網路裝置。

針對上述難點，國泰君安於 2018 年開始自主研發新一代低延時分散式核心交易系統，並於 2021 年試點投產。新系統在高可用、低延時以及大容量等方面均對基礎網路環境提出了更高要求。例如，在高可用方面，要求同城雙中心高可用網路叢集故障或伺服器故障自動切換 RTO<10 秒、RPO=0；主備資料中心切換 RTO<1 分鐘，RPO=0；異地容災中心切換 RTO<5 分鐘，RPO<1 分鐘。在低延時方面，新系統要求委託上行時延小於 2 毫秒，系統內部迴路時延小於 40 微秒。在大容量方面，新系統要求 25G 接入與 40G 匯聚，且接入裝置最大組播量在 10K 以上，核心裝置最大組播量在 20K 以上。

二、技術選型

國泰君安集合應用開發團隊、系統運維團隊、技術架構團隊等骨幹力量組成專項技術攻堅小組，在技術選型階段針對市場上多款交換機產品進行了詳細的對比測試，全面覆蓋了功能測試、組播測試及可靠性測試等內容。具體實踐中，攻堅小組透過專業測試儀打流，確認待測裝置的交換容量和包轉發率均滿足要求，之後對 VLAN、MAC 地址、IP 路由、虛擬化等功能以及組播路由協議、組播特性及組播容量等進行了詳細測試，確認有兩款產品可滿足要求。

在此基礎上，攻堅小組開展了多項破壞性測試，例如在裝置高負荷執行時，將部分電源及風扇強制拔出，以確認裝置的高可用性滿足要求，同時針對核心交換機與接入交換機在二層網路及三層網路的單播和組播等多個場景，對時延進行了深入測試，確認了各款產品的具體時延。經過嚴格的 POC 測試和技術選型，國泰君安最後選擇了一款高效能核心交換機作為新一代核心交易系統的網路底座，並於 2021 年在兩地三中心建設完成了新一代高效能核心交易系統。

三、路由設計

對新一代核心交易系統而言，其核心交易網路主要涉及來安路、金橋和南方三個資料中心（如圖 1 所示），其中，來安路資料中心是國泰君安的生產主中心；金橋資料中心是在上交所租用的託管機房，定位是同城雙活及災備中心；南方資料中心是在深交所租用的託管機房，定位為異地災備中心。

圖 1 國泰君安核心交易網路

 

在實際執行中，每個資料中心的網路架構均為“核心交換機+接入交換機”的模式。來安路資料中心與金橋資料中心採用兩條 10G 裸光纖互聯，南方資料中心分別採用了 10G 和 2.5G 的專線連線來安路資料中心和金橋資料中心，且每個中心均部署了全套交易元件，支援獨立執行。此外，整個網路透過 VPN-Instance 實現邏輯隔離，並在每個資料中心的核心交換機配置三層互聯介面，在互聯介面為每個域劃分了子介面，子介面與 VPN-Instance 繫結。

在路由設計方面，資料中心之間使用 BGP 路由協議互聯互通，使用 Loopback 0 作為 BGP 的 Router-ID，透過子介面的互聯地址建立 BGP 鄰居關係，負責將該域在資料中心的業務網段以及 BGP 的 Router-ID、Anycast RP 的 Local 地址等資訊，透過 Network 釋出進對應的 BGP-VPN 例項地址簇，進而實現每個域在資料中心之間的路由學習。值得強調的是，由於金橋資料中心和南方資料中心之間距離較遠，而 BGP 的收斂能力僅為秒級，難以滿足低時延網路要求，故國泰君安在網路中專門配置了 BFD 來提供毫秒級的檢測精度，以快速識別故障並觸發 BGP 路由的收斂，從而確保業務連續性。

四、組播設計

新一代核心交易系統的各應用元件在同城資料中心之間使用組播實時同步，並支援在同步完成後透過單播傳送給南方資料中心進行備份。在此過程中，上海同城資料中心互聯介面開啟 PIM-SM，資料中心內部在各元件的閘道器地址下開啟 PIM-SM 以及 IGMP V3 功能，以滿足元件之間的業務訪問需求。同時，為增強 PIM-SM 中 RP 節點的可靠性，上海兩個資料中心配置了 PIM Anycast RP，且每個資料中心核心交換機均配置了相同的 RP 地址，RP 地址間透過 Loopback 地址建立對等體關係，從而實現組播源就近註冊和接收者就近加入，既能緩解單個 RP 的負擔，也可實現 RP 備份，同時最佳化了轉發路徑。

PIM Anycast 註冊過程如圖 2 所示。在二層網路中，為防止組播流量泛洪對頻寬造成影響，所有連線伺服器的交換機通常會配置 IGMP Snooping，透過偵聽三層組播裝置和使用者主機之間傳送的組播協議報文來維護組播報文的出介面資訊，進而管理和控制組播報文在資料鏈路層的轉發過程。透過組播技術，新一代核心交易系統的資料傳輸效率整體提升了 5 倍以上，目前核心交換機的組播表項已達 8900 個。

圖 2 PIM Anycast 註冊過程

 

五、模組化部署

在部署設計方面，來安路資料中心的每個機櫃額定功率為 5kW，按照每臺伺服器功率不超過 400W 計算，每個機櫃可放置 12 臺伺服器。基於此，國泰君安將 3 個機櫃作為一個標準模組，併為每個模組配置一對接入交換機，可同時支援 48 臺伺服器的雙網路卡接入。此外，每個機櫃中同時部署交易節點、外部接入群集、資料庫群集、控制群集等各類業務元件，透過將每個節點中各元件的主備節點部署在不同的標準模組中，確保即使某對接入交換機同時發生故障，元件的整體處理能力亦不會受到太大影響，從而可最大程度保證系統可用性。

對於同城災備中心及異地災備中心而言，因託管機房對單個機櫃的電量限制，導致每個機櫃部署的伺服器數量會相應減少，故金橋資料中心以 4 個機櫃作為一個標準模組，而南方資料中心則是以 5 個機櫃作為一個標準模組。

六、整網效能指標

新一代核心交易系統部署完成後，同城雙中心的網路叢集中任何一臺裝置故障對系統均不會造成影響，且標準模組下的網路裝置發生故障時，應用亦可實現平滑切換。在時延方面，新一代交易系統網路滿足了業務委託上行時延小於 2 毫秒，系統內部處理時延小於 40 微秒，查詢時延小於 100 微秒，單筆時延小於 200 微秒，速度提升 10 倍以上。在容量方面，系統透過壓測整體達到每秒 30 萬筆交易，並且支援後期根據業務需求進行水平擴充套件。經過應急演練驗證，主備資料中心切換 RTO<1 分鐘、RPO=0，異地災備中心切換 RTO <5 分鐘、RPO<1 分鐘，可用性高達 99.999%。目前，國泰君安近 400 家營業部已經全部切換至新一代核心交易系統，新平臺承載了 1500 萬零售客戶交易。

國泰君安新一代核心交易系統成功上線，代表新一代分散式低時延架構在中國證券公司核心交易領域取得了重大突破，不僅標誌著千萬級賬戶規模的證券公司零售交易系統正式從以資料庫為中心的大集中交易系統時代，走向以訊息處理為核心的新一代分散式低時延交易系統時代，更是標誌著金融核心系統自主創新方案的不斷成熟，推動網路裝置應用從測試網、辦公網逐步走向了最核心的交易網，進而為後續全面創新轉型積累了寶貴經驗、增加巨大信心。