金融使用者實踐|分散式儲存支援資料倉儲業務系統效能驗證
作者:深耕行業的 SmartX 金融團隊 閆海濤
估值是指對資產或負債的價值進行評估的過程,這對於投資決策具有重要意義。每個金融公司資管業務人員都期望能夠實現實時的業務估值,快速獲取最新的資料和指標,從而做出更明智的投資決策。
為了更好地實現實時估值, 某金融客戶使用 SmartX 分散式塊儲存產品 SMTX ZBS 進行系統效能最佳化探索,並與本地硬碟環境進行了對比測試。本文將重點分享客戶在估值業務系統效率提升方向上所做的探索工作,希望能夠給讀者一些啟發。
測試背景
估值系統
金融公司資產管理(資管)業務中的估值系統在投資決策和客戶報告等方面扮演著關鍵角色。透過計算和確定投資組合中各種資產(如股票、債券、衍生品等)的淨值或市值,估值系統可幫助基金管理人員瞭解投資組合的價值和表現。
估值系統通常涉及以下方面的任務:
- 市場資料採集:估值系統需要從各種金融市場和資料供應商獲取實時或延遲的市場資料,如股票價格、債券收益率、外匯匯率等。這些資料對於計算投資組合的淨值至關重要。
- 資產估值:估值系統使用不同的定價模型來估計投資組合中各種資產的價值。這可能涉及到股票、債券、期貨、期權等不同型別的資產,每種資產可能都需要不同的估值方法。
- 價格驗證:估值系統需要確保所使用的市場資料和定價模型是準確的和可靠的。因此,價格驗證是確保資料正確性的重要步驟。
- 交易處理:如果投資組合中有新的交易,估值系統需要記錄這些交易並對其進行適當的估值調整,以反映最新的投資組合價值。
- 計算淨值:估值系統會根據資產的估值計算基金的淨值。基金的淨值是指基金資產減去負債後的剩餘價值,即每份基金份額的價值。
- 報告生成:估值系統還可以生成各種報告,供基金管理人員、投資者和監管機構使用。這些報告可能包括基金的淨值報告、投資組合構成、風險分析等。
正因如此,基金公司的估值系統在確保投資組合價值準確性、支援投資決策以及滿足監管和報告要求方面起著關鍵作用。
客戶需求
實時估值是客戶的終極期望,即能夠快速地獲取最新的資料和指標,並快速地完成估值核算。實現實時估值的主要影響因素有兩個:市場行情和交易資料的匯入時效性,和估值核算過程中的系統效能。
其中,市場行情和交易資料匯入的時效性主要由外部因素決定,客戶難以控制。而估值核算環節由客戶自建系統實現,通常採用物理伺服器和全快閃記憶體儲的方式進行支撐。該種方式硬體和運維成本高昂,同時隨著估值資料的不斷增長,很難滿足估值系統高效能和高容量的需求,容易出現效能瓶頸、容量擴充套件困難等問題。這些問題會導致估值系統跑批時間過長、資料落地延遲,從而影響業務效率和質量。
為了解決這些問題, 客戶計劃使用 SMTX ZBS(基於裸金屬伺服器)進行估值系統效率最佳化,並與“裸金屬伺服器 + 本地硬碟”環境進行對比測試,驗證估值系統核算跑批效能最佳化情況。
測試環境
SMTX ZBS
SMTX ZBS 是 SmartX 自研的軟體定義分散式儲存系統,它能夠為裸金屬伺服器、VMware 虛擬化等通用計算平臺提供高效、可靠、靈活的儲存服務。
- 高效能:SMTX ZBS 利用 SSD 裝置作為快取,提高資料讀寫速度;支援超融合架構,將計算和儲存整合在同一臺伺服器上,減少網路延遲;採用條帶化技術,將連續的資料分散到不同的硬碟上,提高並行度和吞吐量。
- 高可靠:SMTX ZBS 透過多副本機制,保證資料在不同的節點上有冗餘備份,防止資料丟失;採用強一致性寫,保證資料在所有副本上保持一致;支援快照、克隆、回滾等資料保護功能,方便資料恢復和備份。
- 低消耗:SMTX ZBS 相容商用伺服器,無特殊硬體需求;儲存僅佔用有限的計算資源,避免額外購置儲存伺服器;支援精簡置備、壓縮、去重等空間最佳化功能,節省儲存空間。
- 橫向彈性擴充套件:SMTX ZBS 支援動態增加或減少節點,實現效能和容量的同步線性擴充套件;單叢集最大可支援 255 個節點。
- 易於整合:SMTX ZBS 提供標準的 iSCSI 和 NVMe-oF 塊儲存介面和完整的 RESTful API 支援;支援主流的虛擬化和雲平臺以及 Kubernetes 和裸金屬計算平臺。
測試基本資訊
測試拓撲
估值資料庫系統當前環境執行配置
測試硬體配置
估值系統核算跑批測試
測試結果
這個測試是為了驗證 SMTX ZBS 支撐估值業務系統的效果。我們使用了客戶提供的估值業務系統,模擬了估值核算業務邏輯的跑批過程,並記錄了完成跑批產品數量、總產品數量和跑批時間等指標。
我們分別在伺服器本地磁碟和基於 SMTX ZBS 分散式儲存 iSCSI、 NVM-oF 不同儲存協議下三種環境進行了測試。
測試結果顯示,對同等總數量的產品進行估值核算, 分散式儲存 iSCSI 和 NVM-oF 在跑批時間上都明顯優於伺服器本地磁碟的方式(時間縮短近 50%),而且完成跑批產品數量也更多。具體的資料如下:
場景探索結論
透過測試比較可以看到, 使用 SMTX ZBS 能夠顯著提升估值核算效率。與伺服器本地磁碟相比,分散式儲存環境下的跑批時間縮短近 50%,完成核算數量更多。這對於快速生成投資者報告、加速投資分析決策具有重要意義。
同時, SMTX ZBS 的分散式架構還能夠有效應對未來容量和效能的擴充套件需求,伺服器硬體在運維管理方面也變得更簡單和通用。
綜上所述,在金融公司資產管理業務中使用 SMTX ZBS 來支撐估值系統,可以幫助客戶獲得更好的效能和業務優勢,提升核算效率、加速報告生成,並增強整體業務效率。
更多金融行業場景探索
此外,基於 SmartX 超融合對 NVMe 快閃記憶體的最佳化, SmartX 還幫助某基金公司資料中心業務系統(包括 CISP 估值)進行效能提升驗證測試。驗證結果表明,相比於生產環境,測試環境下 CISP 估值資料落地單任務跑批時間縮短 85%,多工跑批時間縮短 82%。欲瞭解測試詳情,請閱讀: 某基金公司資料中心業務系統超融合平臺最佳化驗證。
SmartX 還聯合多家來自銀行、保險、證券、基金、期貨、資管等金融細分行業的頭部企業,針對超融合在更多核心業務系統、資料庫、IT 基礎架構雲化轉型與信創轉型等場景下的表現,開展全方位評測,並將長時間積累下來的分析報告彙總成電子書 《金融核心生產業務場景探索文章合集》,供使用者免費下載、隨時參考。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69974533/viewspace-2989203/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 分散式系統中資料儲存方案實踐分散式
- 分散式系統中的資料儲存方案實踐分散式
- 分散式儲存系統的最佳實踐:系統發展路徑分散式
- 開源分散式支援超大規模資料分析型資料倉儲Apache Kylin實踐-上分散式Apache
- 開源分散式支援超大規模資料分析型資料倉儲Apache Kylin實踐-下分散式Apache
- 分散式系統技術:儲存之資料庫分散式資料庫
- 分散式檔案系統HDFS,大資料儲存實戰(一)分散式大資料
- 金融機構關鍵業務系統資料儲存規劃實施與配置
- 效能提升超17%!杉巖資料分散式儲存系統獲華為鯤鵬Validated認證分散式
- 【大資料】BigTable分散式資料儲存系統分散式資料庫 | 複習筆記大資料分散式資料庫筆記
- Bayou複製分散式儲存系統分散式
- GFS分散式檔案系統、結合實驗分析各種儲存卷的特點。深入刨析分散式儲存的方式。分散式
- 系統設計實踐(02)- 文字儲存服務
- 銀行業生產系統儲存資料遷移方法及實踐行業
- 分散式儲存與傳統網路儲存系統相比有哪些區別分散式
- 分散式日誌儲存架構程式碼實踐分散式架構
- 淺談分散式儲存系統的資料分佈演算法分散式演算法
- 分散式儲存系統可靠性:系統量化估算分散式
- 小米大資料儲存服務的資料治理實踐大資料
- Shiro加鹽驗證/儲存使用者資訊
- 哪些企業需要分散式式儲存?分散式
- 分散式儲存系統可靠性如何估算?分散式
- 分散式kv儲存系統之Etcd叢集分散式
- 星環科技多模型資料統一儲存的大資料分散式儲存平臺方案分享模型大資料分散式
- GlusterFS企業分散式儲存【轉】分散式
- 滴滴資料倉儲指標體系建設實踐指標
- HDFS分散式儲存分散式
- Redis 分散式儲存Redis分散式
- Longhorn,企業級雲原生容器分散式儲存 - 支援 ReadWriteMany (RWX) 工作負載(實驗性功能)分散式負載
- 轉轉倉儲自動化系統實踐
- 資料倉儲經驗概念
- 大型系統儲存層遷移實踐
- 分散式儲存中的資料分佈策略分散式
- DAOS 分散式非同步物件儲存|資料平面分散式非同步物件
- 杉巖PACS影像系統分散式儲存架構分散式架構
- 分散式儲存ceph 物件儲存配置zone同步分散式物件
- DAOS 分散式非同步物件儲存|儲存模型分散式非同步物件模型
- 分散式資料恢復-hbase+hive分散式儲存資料恢復方案分散式資料恢復Hive