超融合支撐保險客戶構建生產級資料庫資源池
作者:深耕行業的 SmartX 金融團隊
背景介紹
2018 年,某保險客戶在開發測試環境部署了首套基於超融合的基礎架構平臺,成功使用國產虛擬化 + 分散式儲存替代了 VMware + 集中儲存陣列,並支撐了 300+ 虛擬機器。在針對“團險銷管”系統的容器化改造過程中,得益於 I/O 本地化特性,超融合平臺在開發測試環境中的效能表現相比當前生產環境獲得數倍提升,這進一步增加了客戶將超融合架構應用於生產系統的信心。
隨後從 2019 年到 2021 年,經過 3 年持續的基礎架構轉型推進,歷經三期的改造和升級擴容,客戶生產環境完成了 2 套超融合叢集的部署落地,500+ 業務虛擬機器透過合理的規劃放置,並利用網路負載均衡,實現了叢集級應用業務容錯。
而客戶的生產資料庫硬體平臺逐漸老化,使用年限已超 5 年,底層硬體平臺升級替換在 2021 年被提上日程。由於超融合架構在開發測試和生產環境有著 3 年多的穩定執行及效能表現,得到了客戶的充分認可,這為客戶決定使用 SmartX 超融合架構構建資料庫系統資源池提供了契機。
本文將介紹該客戶的 MySQL 及 Oracle 資料庫資源池建設過程和收益總結。
MySQL 資源池構建
MySQL 效能評估
SmartX 超融合在開發測試環境支撐多套 MySQL 資料庫穩定執行 3 年以上,其中在針對“團險銷管”系統報表功能進行效能對比測試中,超融合架構相比當前生產環境,基於相同的虛擬機器資源配置下,表現出更快的業務響應速度,下圖為對比資料。
客戶在生產環境測試了“一天資料量”的資料查詢,需要等待 50s,認為這個時間已經很長,做全量需要更多的時間。由於是生產環境,擔心影響到業務,所以未進行全量資料測試。但是在開發測試環境的超融合叢集直接跑全量資料的查詢,與生產環境測試“一天資料量”(資料量與全量資料相差 3 個數量級)的查詢資料對比,SmartX 超融合查詢效能遠高於當時的生產環境。
虛擬機器資源配置如下圖:
MySQL 資源池建設
客戶新建一套 3 節點全閃架構的超融合叢集,使用 SmartX 原生虛擬化 ELF,專門用於支撐 MySQL 資料庫業務,使用 v2v 方案遷移 11 套 MySQL 業務資料庫到超融合叢集,包含渠道類、內部應用類和周邊應用類業務系統,目前已完成一期 3 套系統的遷移,每套資料庫系統均包含多個虛擬機器,採用 MySQL “一主多從”的部署方案。
MySQL 超融合叢集(3 節點),叢集共提供了 192 個邏輯處理器,2.3T 記憶體,68T 儲存裸容量。
Oracle 資源池構建
Oracle 效能評估
使用超融合架構支撐 Oracle 生產系統資料庫,對於客戶基礎架構是一次關鍵的轉型探索,需要進行全面的評估和充分驗證。經過與客戶的溝通討論,客戶確定臨時構建一套三節點超融合叢集並新裝部署 Oracle RAC (虛擬機器資源配置以及資料庫配置參考生產環境中的電商系統),使用第三方的標準資料庫測試工具 SwingBench 進行長達 8 小時的持續效能測試,評估 Oracle 資料庫效能表現。
測試叢集拓撲環境:
第三方壓測工具 SwingBench 使用預設 TPC-C 壓測模型,在 100 使用者併發下,TPM 平均值為 63 萬,平均延時為 6ms。
提升使用者到 200 併發下,TPM 平均值為 101 萬。
再次提升使用者到 300 併發下,TPM 平均值達到 112 萬。
本次效能驗證,分別進行了 100 使用者、200 使用者和 300 使用者的併發測試用例,透過測試,在高併發使用者下,可以充分釋放 Oracle 資料庫效能(百萬級 TPM),且效能曲線輸出平穩。我們透過行業經驗,看一下這裡的 TPM 與應用業務的關係。每筆交易按 15 個原子操作計算,並根據行業經驗保留 30% 餘量,相當於每分鐘處理超過 3 萬筆複雜金融業務交易,在不能實際壓測生產環境進行對比的背景下,此次測試資料庫過程和結果得到客戶的認可。
Oracle 資源池建設
本次資料庫效能驗證,超融合架構展現出的效能指標完全可以滿足客戶的業務需求。在對資料庫的穩定性、可用性和效能進行多維度的綜合評估後,客戶最終決定,在建設 MySQL 資源池後,新建用於支撐 Oracle 資料庫的全閃超融合資源池。為降低遷移複雜度,並保持和原虛擬化架構的一致性,Oracle 資源池的虛擬化層延用 VMware ESXi。
超融合叢集(6 節點)共提供了 384 個邏輯處理器,4.6T 記憶體,230T 儲存裸容量。
到目前為至,已遷移完成 26 套 Oralce 資料庫系統,含 2 套 Oracle RAC(兩節點),涵蓋客戶目前架構支撐平臺、渠道類、周邊應用類和 BI 報表業務等系統。
建設收益
基於超融合架構的企業雲 IaaS 平臺透過融合計算、儲存、網路資源,有效降低基礎架構的建設成本和複雜度,在保持架構可靠性和高效能的前提下,提高了架構敏捷性,透過兩期的生產資料庫資源池建設,客戶利用超融合架構完成了對重要生產系統的基礎架構轉型。
近 3 年持續的基礎架構轉型,給客戶帶來了如下收益:
- 相比於伺服器 + 集中儲存的傳統架構,超融合架構的 I/O 本地化、SSD 快取等技術特性帶來了更多的效能提升。全分散式的部署模式,使得叢集 I/O 效能和儲存容量在增加節點後可以獲得線性增長;
- 超融合架構具備更好的彈性和敏捷性,能夠實現計算儲存資源的快速交付,架構按需擴容,從而更好地提升業務團隊需求的響應速度,進一步提升業務需求方的滿意度;
- 從總體擁有成本來看,基於超融合的分散式架構具有顯著的成本優勢。使用標準乙太網交換機替換了專有 FC SAN 儲存交換機,一臺伺服器節點既提供計算能力,也同時提供儲存能力,不僅減少了機櫃的空間使用,同時最大化利用上伺服器磁碟插槽,將伺服器的硬體能力充分釋放。超融合架構支援小規模 3 節點起步,按需彈性擴充套件,擁有最佳的成本優勢;
- 使用國產自主研發的分散式儲存方案進行企業雲 IaaS 資源池搭建,將為客戶的國產化替代之路打下堅實的基礎。
案例總結
透過實踐探索,充分驗證了超融合架構具備支撐生產級資料庫的能力,鑑於超融合穩定的自研儲存核心和全棧效能最佳化,客戶決定將生產資料庫(MySQL、Oracle)遷移到基於超融合構建的雲化資源池執行,同時實現了企業雲基礎架構的分散式雲化轉型和虛擬化以及儲存的國產化逐步替代。
點選下載 ,深入瞭解各行業技術專家的超融合轉型經驗。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69974533/viewspace-2899103/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 融合資料庫生態:利用 EventBridge 構建 CDC 應用資料庫
- 【FIW2022 精彩回顧】方正富邦基於超融合構建核心資料庫資源池的探索與實踐資料庫
- 保險私有云 IaaS 資源池選型與演進之路 | SmartX 客戶實踐
- 支撐百萬併發的資料庫架構如何設計?資料庫架構
- MySQL 資料庫 到底能支撐多少表?MySql資料庫
- 高效資料通道支撐生產情況實時分析與視覺化視覺化
- 開源輕量級 PHP 資料庫 ORM 框架 ycdb (高階) : 構建穩定的資料庫 / 快取連線池PHP資料庫ORM框架快取
- MSTP技術支撐大客戶專線——VecloudCloud
- 簡化IT SmartX讓超融合支撐核心業務成為可能
- 螞蟻金服mPaaS 3.0釋出 助力客戶智慧化構建超級App生態APP
- 企業客戶管理系統:智慧管理客戶資料 擴充客戶資源
- 美創資料支撐平臺釋出,全新升級賦能資料治理
- 億級流量系統架構之如何支撐百億級資料的儲存與計算架構
- 淘寶客戶端安全生產體系建設客戶端
- 如何利用資料來支撐設計?
- 支撐微信支付的資料庫如何提供超300萬TPCC事務處理能力?資料庫
- 資料產品:CDP(客戶資料平臺)必備的產品能力
- 支撐千萬級,大型電商分散式架構解析分散式架構
- 客戶端連不上資料庫客戶端資料庫
- 耶魯大學教授從構建生產資料庫中學到的 42 件事 - maheshba資料庫
- 優炫資料庫中標河南移動業務支撐系統國產資料庫採購專案資料庫
- [TcaplusDB知識庫]資料庫支撐底盤引擎計算層介紹資料庫
- 當PostgreSQL遇到K1 Power伺服器,如何構建高效能高可靠性資料庫支撐平臺?SQL伺服器資料庫
- 非結構化資料暴增,企業如何穩定高效的支撐日均百億級訪問
- 【MySQL】自定義資料庫連線池和開源資料庫連線池的使用MySql資料庫
- 客戶主資料
- 案例 | 綠盟資料庫審計系統DAS助力某運營商雲資源池三級等保建設資料庫
- 億級流量系統架構之如何支撐百億級資料的儲存與計算【石杉的架構筆記】架構筆記
- 生產資料庫、開發資料庫、測試資料庫中的資料的區分資料庫
- 使用 Hive 構建資料庫Hive資料庫
- 客戶端連線資料庫的方法客戶端資料庫
- 構建資料安全合作生態,守護資料安全
- .net 資料庫連線池超時問題資料庫
- 阿里雲自研資料庫支撐雙11,助力電商客戶訂單峰值突破每秒20萬筆阿里資料庫
- 每秒7億次請求,阿里新一代資料庫如何支撐?阿里資料庫
- SmartX 超融合支撐 Rhapsody 醫療整合引擎執行效率實測詳解
- mysqldump同步生產到生產資料MySql
- 杉巖資料:從資料到洞察,如何用物件儲存支撐新型資料湖物件