金融行業聯機交易業務場景下的儲存架構設計

對於金融業來說，不同業務場景應進行合理的儲存架構選型，以起到對上層架構的支撐與補足作用。不同的業務系統對資料儲存的可靠性要求、隔離性要求並不相同，因地制宜地進行儲存選型規劃是急需探討和解決的問題。

【作者】謝茜茜，江西銀行資訊科技部系統管理崗資深運維工程師

一、金融行業聯機交易業務場景特點

對於金融行業聯機交易處理資料庫OLTP場景，從資料庫角度看：每個事務的讀、寫、更改涉及的資料量非常小，資料庫的資料必須是當前的，所以對資料庫的可用性要求很高。同時有很多使用者連線到資料庫、使用資料庫，要求資料庫有很快的響應時間，通常一個事務會在幾秒內完成。

從儲存角度看，每個I/O非常小，通常為2KB至8KB，訪問硬碟資料的位置也非常隨機，至少有30%的資料是隨機寫操作，而REDO日誌寫入非常頻繁。

綜上，OLTP場景下最考驗的是小IO隨機讀寫效能，要求在高IOPS下有穩定的低時延。

二、儲存架構概況

1.儲存技術架構

現有儲存系統從底層到上層由儲存介質、組網方式、儲存協議和型別、儲存架構、連線方式五個部分組成，整體架構如圖1所示：

圖1 儲存技術架構圖

1.1 組網型別

按組網方式，儲存系統可分為IP組網儲存、FC組網儲存、IB組網儲存等。

IP組網儲存：指採用乙太網技術進行組網的儲存裝置，常見速率包括1Gb、10Gb、25Gb、100Gb等;IP組網的相容性較好，建設成本較低。

FC組網儲存：指採用FC光纖技術進行組網的儲存裝置，常見速率包括8Gb、16Gb、32Gb等;FC組網的效率較高，但採購成本和維護難度也相對較高。

IB組網儲存：指採用InfiniBand技術進行組網的儲存裝置，常見速率包括40Gb、56Gb、100Gb、200Gb等;IB組網的延遲較低、速率較高，但採購成本相對較高，組網的擴充套件性也較弱。

1.2 儲存型別

按儲存型別，儲存系統可分為檔案儲存、塊儲存、物件儲存、其它儲存等。

檔案儲存：指自身構建檔案系統後，透過互通的網路提供給伺服器或應用軟體使用，支援資料檔案讀寫和檔案共享服務的儲存裝置。檔案儲存的常用協議包括NFS、CIFS、FTP等。

塊儲存：指將物理儲存介質上的物理空間按照固定大小的塊組成邏輯盤，並直接對映空間給伺服器使用的儲存裝置。塊儲存的常用協議包括SCSI、iSCSI、NVMe等。

物件儲存：指採用扁平化結構，將檔案和後設資料包裝成物件，並抽象成網路URL，透過HTTP協議直接訪問的儲存裝置。物件儲存的常用協議包括S3、SWIFT等。

其它儲存協議：包括在大資料儲存中廣泛使用的HDFS協議，以及表儲存協議等。

1.3 儲存架構

按儲存系統架構，儲存系統可分為集中式儲存和分散式儲存。

集中式儲存：指基於雙控制器或多控制器架構的企業級儲存系統，具有較強的縱向擴充套件(Scale-up)能力和一定的橫向擴充套件(Scale-out)能力。集中式儲存的特點有高可靠、高可用、高效能等。

分散式儲存：指將商用伺服器上的儲存介質虛擬化成統一的儲存資源池來提供儲存服務。分散式儲存的特點有高擴充套件性、低成本、易運維、和雲緊密結合等。

2. 軟體定義儲存

大資料、雲端計算和虛擬化等技術的出現，使得傳統的IT架構難以滿足企業日益增長的資料儲存需求。為應對這一挑戰，軟體定義儲存(SDS)應運而生，打破了傳統IT系統複雜和繁冗的現狀，最佳化了網路的可擴充套件性和管理方式。

軟體定義儲存產品在提供高可靠和高可用服務能力的同時，整合了資料智慧處理和分析能力，簡化了海量資料處理所需的基礎設施，實現資料互通、資源共享、彈性擴充套件、多雲協作，有效降低使用者的使用成本。

三、儲存選型策略

1.產品選型規劃

在選型過程中首先應根據業務需求確定儲存形態。如果是傳統關係型資料庫類應用，對資料可靠性、業務可用性和時延要求較高，集中式儲存陣列依然在此類應用場景中廣泛使用。如果對於儲存效能和容量擴充套件性要求較高的應用場景，則分散式儲存架構更加適合。

接下來還需考慮儲存的效能需求。除了儲存裝置本身架構設計的因素外，儲存介質可能更直接影響塊儲存最終能夠達到的效能。全快閃記憶體儲節點可提供更低的時延、更高的IOPS、更高的可靠性和效能，適合於對效能要求較高的核心業務系統。在效能需求一般的業務場景，混閃的配置能提供更優的價效比。

完成儲存形態和儲存介質的選型後，對於分散式架構的儲存裝置，通用模組的選型主要基於以下幾個方面：

1)網路傳輸裝置：儲存的網路環境目前主流仍然是10Gbps網路，但伴隨著終端網路頻寬的不斷提高，未來對儲存資料在網路上傳輸需求的頻寬也會越來越大，基於未來的發展應優先考慮相對成熟的25Gbps、100Gbps網路。

2)業務邏輯層裝置：此層裝置主要工作是處理儲存業務產品功能邏輯，主要資源消耗點在CPU，引數上更多核心更高主頻可以帶來更好的處理效能。

3)後設資料裝置：後設資料作為整個儲存系統的一個核心部分，整體效能的高低直接影響了儲存的響應能力，裝置選擇上優先要考慮基於NVMe協議的全快閃記憶體儲用於存放海量後設資料，同時較大的記憶體也可以進一步提升後設資料處理的響應速度。

2. 業務選型規劃

業務規劃主要考慮容量的規劃和功能的規劃。

1)容量規劃。考慮不同的場景、效能需求、容量需求需搭建的叢集規模，以及後續擴容，置換的規劃。更應考慮到未來業務增長，在給業務劃分容量時需預留足夠的空間。同時還需要綜合考慮業務的需求，劃分不同的儲存池，做到業務隔離並防止資源爭搶。

2)功能規劃。若只需滿足基礎要求，基本所有型別儲存都可選用;若有容災規劃，則可選用具有同步非同步複製功能的儲存。對於軟體功能的規劃，伴隨著新硬體產生和技術的進步，軟體功能也要有相應的升級。

3. 部署選型規劃

部署規劃是結合業務的場景和可靠性要求等條件，對機房、機櫃、交換機、網路等裝置進行統籌考慮。儲存服務的部署要結合實際物理條件綜合考慮部署架構以實現服務的高可用，需要從分散性、高效能、擴充套件性及可維護性方面進行規劃。

1)分散性：儲存服務的核心就是資料的可靠性與服務的可用性，基於這兩點所有服務的元件部署都要考慮到多可用區(AZ)的部署方式，確保所有服務叢集在單個AZ故障時依然有叢集線上提供服務，同時後端儲存服務優先要考慮三AZ部署(典型分散式儲存服務為三副本或糾刪碼，集中式儲存服務為雙活、兩地三中心部署等)。

2)高效能：叢集初建時業務體量尚未成型，此時選用大容量介質建設目標容量叢集會因為介質數量太少，在突發業務壓力下導致單個儲存介質到達效能極限，進而影響了整個儲存叢集的效能，基於這種場景可以選用多個相對容量較小的儲存介質提高叢集的整體效能。

3)擴充套件性：設計之初各服務模組應充分考慮橫向擴充套件能力，擴充套件模型是否足夠簡單，確保可以透過擴充套件滿足未來業務的需求。

4)可維護性：傳統儲存運維面對大規模的儲存叢集，從變更到日常故障巡檢都要消耗大量的人力，運維向智慧化轉變是未來發展的方向，透過智慧運維來大幅提高儲存系統的自運維能力，降低運維成本。將運維人員從繁雜的工作中解放出來，將更多的精力集中在運維繫統的開發和完善上。

四、總結與展望

數字經濟時代，資料儲存系統作為資訊化系統的基礎設施，構建一套穩定、高效、滿足未來業務發展需求的資料儲存系統將是企業和組織夯實資料底座、挖掘資料價值、釋放資料潛能的關鍵，筆者認為未來儲存產業生態呈現出以下三點趨勢：

1. 底層軟硬體平臺多元化

晶片、伺服器、儲存介質等通用技術的發展改變了儲存架構，為儲存行業的發展奠定了基礎。儲存軟硬體的通用化使得儲存可以選擇更多的軟硬體技術，充分利用新型軟硬體紅利的同時，也讓使用者享有更多的選擇權。

2. 基礎設施雲化

在雲端計算基礎設施中，透過虛擬化儲存、計算和網路，將通用的物理資源整合池化成邏輯資源，並對外提供服務，以軟體定義的方式快速、敏捷的將基礎設施資源以服務的方式提供給使用者，滿足企業在數字化轉型中對敏捷、靈活、快速、高效IT系統的需求。

3. 上下游生態融合

未來資料儲存系統必須具備高效能、高可靠性、高擴充套件性等多種能力。既可以滿足資料庫等傳統核心業務需求，也可以支援大資料分析、虛擬化、容器、雲平臺等新業務應用。在雲端計算、大資料技術的驅動下，不同型別企業的應用場景對效能和可靠性的要求越來越高，企業使用者對儲存解決方案提出了全新要求。