浪潮K-DB在城商行和政務雲的最佳實踐
近年來,國產資料庫廠商不斷湧現。據不完全統計,國產資料庫廠商的數目已從最開始的十餘家,迅速增長到兩百多家,形成百花齊放的局面,其中主要分為三大流派:雲資料庫廠商(阿里雲、騰訊雲等)、核心式資料庫廠商(浪潮、達夢等),以及分散式資料庫廠商(中興、PingCAP等)。
國產資料庫的建設困境與解決對策
伴隨著國產資料庫的快速崛起,資料庫的種類也逐漸增多,這導致了適配的選型變難,業務遷移的相容性變差,複雜度攀高。此外,企業使用者缺少完善生態與運維工具;多廠商承接業務,改造升級配合度低等問題層出不窮。
▲浪潮資料庫首席架構師 蔣琪
浪潮資料庫首席架構師蔣琪表示,“企業使用者在之前選擇傳統資料庫產品時,主要考慮高可用、高效能、易用性。現在做選型時,他們都會做專業的POC,生成本行業或企業的採購名錄,並參考第三方對資料庫的測試結果。”
針對選型難,浪潮K-DB關係型資料庫支援K-RAC叢集和KSC主備叢集,併發布浪潮inData資料庫一體機,效能到達國際領先水平。針對遷移難,K-DB全面支援Oracle欄位、分割槽表等高階功能,儲存過程高度支援,不需要轉換,K-UP遷移及分析工具能夠幫助使用者一鍵式遷移國外主流商業資料庫,應對不同的時間視窗並提供相應的遷移方案。針對運維難,浪潮提供K-DB Studio開發者工具、KdLoader載入工具、K-DB Manager圖形化監控工具,以及匯入匯出等多種工具。針對阻力大,浪潮已和100多家ISV進行合作,適配上千種應用,不斷擴大生態圈。
浪潮inData資料庫一體機支援智慧過濾、儲存索引、智慧快取等先進技術,利用高效能的NVMe PCIe快閃記憶體驅動器作為快取,同時結合橫向擴充套件儲存、InfiniBand網路、資料庫分流等技術,為海量資料業務系統提供了強勁的處理能力。其inData資料庫一體機計算引擎採用 K-RAC共享儲存多活叢集,K-RAC環境中的所有例項透過共享資料庫處理事務,對共享資料,透過快取融合、全域性鎖機制管理等複雜技術保持資料一致性和完整性。
浪潮inData資料庫一體機實踐案例
在剛剛結束的DTCC 2020大會上,蔣琪分享了浪潮inData資料庫一體機的兩個成功案例,傳授了關於異構資料庫遷移的經驗。在去O過程中,遇到過哪些問題,如何幫助企業使用者規避風險?
inData在城商行的實踐案例
眾所周知,銀行ODS系統(運算元據儲存)是資料倉儲中的一部分,能夠為客戶帶來統一的資料標準化體系,減少重複開發;帶來統一歸集與資料分發,便於資料探勘與決策分析;帶來統一全行資料與技術架構,保障業務需求。
▲某城商行系統架構圖
在ODS業務架構中,批次進行資料分發、資料加工,繼而進行資料歸集和資料探勘,最後提供一張報表。蔣琪指出,“原來的架構有兩臺Oracle一體機,資料來源包括二代支付系統、新網銀系統等,透過排程程式將資料抽取到ODS裡面,改造之後使用Oracle一體機,作為浪潮inData資料庫一體機的容災,一臺作為EDW使用。”
原有的系統擁有四個痛點:所有資料都集中在ODS中,凸顯效能瓶頸;資料庫一體機的使用年限較長,需要新購、擴容、維保費用昂貴;排程軟體版本老舊,BUG嚴重;急需內部改造,使ODS和EDW解耦。
▲浪潮改造方案
針對上述問題,浪潮與客戶一起制定改造方案,由inData替代Exadata,浪潮ETL工具替代商業Informatica,浪潮排程軟體替代已有排程軟體。整體遷移過程包含資料庫調研、相容性分析、POC測試,以及可行性驗證等,全面業務改造總共分為業務改造和應用改造兩部分。
針對業務層改造,行內的資料專家會進行資料庫治理,改造的部分包括模型,資料表和生態表的增加,提高了ODS整個資料的合理性,深入挖掘和分析資料,提高了資料價值。
針對應用層改造,浪潮和行內工程師共同完成改造及最佳化,資料庫本身沒有遷移和改造成本。蔣琪透露道,“ETL抽取資料直接載入到K-DB,做兩次資料校驗,一次是載入前效驗,一次是定期的資料效驗,保證資料的準確性。”
改造完成之後,經過全面的業務測試,結果證明,浪潮inData資料庫一體機是替代Oracle Exdata的最佳解決方案,可以滿足使用者對效能、穩定性、高可用的要求;滿足使用者未來三年的業務發展,滿足使用者國產化的要求。
inData在政務雲的實踐案例
某省電子政務大資料平臺系統,服務於全省2000多萬人,業務高峰期併發使用者訪問數超過5萬人,TPS10000+,對後端資料庫的可靠性、效能以及安全性要求極大。
該使用者面臨著三大挑戰:原業務系統存在效能瓶頸,業務高峰期CPU利用率高達90%左右,磁碟I/O峰值達到100%,無法支撐前端突然增大的併發訪問的壓力,並且不能隨業務需求進行彈性擴充套件,安全防護不夠,存在被攻擊、資料洩露等安全隱患。
▲某政務雲的架構圖(改造後)
浪潮inData資料庫一體機提供了彈性擴充套件的系統資源,滿足了業務伸縮的需求。在雲上業務,整個CPU使用率達到15%,I/O峰值控制在45%左右。
同時浪潮提供7×24小時的無憂維護服務,併為使用者提供資料庫備份服務,可以多執行緒支援資料備份,保障備份效率。與此同時,計算與資料儲存資源按需擴充套件,浪潮inData資料庫一體機可以支援HTAP混合負載,提供了極致最佳化的資料處理效能。
在過去的一年中,在技術方面,浪潮進一步最佳化了inData資料庫一體機的效能,並開發了更多周邊工具,完善了監控工具和遷移工具相應的功能。在生態方面,浪潮不斷擴大合作伙伴範圍,數量同比提升了60%。浪潮資料庫團隊緊跟使用者需求,不斷打磨產品,繼續提高軟硬結合的力度,並加大研發投入,使inData資料庫一體機為更多的中國客戶提供優質的服務。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545813/viewspace-2747437/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- CDC YAML 在阿里雲的最佳實踐YAML阿里
- 阿里雲全站加速在遊戲行業的最佳實踐阿里遊戲行業
- Module Federation在客服工單業務中的最佳實踐
- 設計微服務的最佳實踐微服務
- 8個雲成本最佳化的最佳實踐
- 華為雲:微服務架構下的效能保障最佳實踐微服務架構
- Kubernetes 微服務最佳實踐微服務
- Serverless 在 SaaS 領域的最佳實踐Server
- 京東雲TiDB SQL最佳化的最佳實踐TiDBSQL
- 阿里雲RDS PG最佳實踐阿里
- 天翼雲CDN最佳實踐
- 有效的微服務:10 個最佳實踐微服務
- 騰訊雲容器服務日誌採集最佳實踐
- 城商行容器雲平臺應用場景及持久化儲存實踐持久化
- 微服務架構最佳實踐微服務架構
- .NET微服務最佳實踐 eShopOnContainers微服務AI
- 探索大模型:袋鼠雲在 Text To SQL 上的實踐與最佳化大模型SQL
- HBase 在統一內容平臺業務的最佳化實踐
- 測試微服務的4個最佳實踐微服務
- 微服務的【資料庫管理】最佳實踐微服務資料庫
- 在騰訊雲容器服務 TKE 中實踐 DevOpsdev
- SpringBoot微服務安全最佳實踐 - piotrminkowskiSpring Boot微服務
- SpringCloud 微服務最佳開發實踐SpringGCCloud微服務
- Mysql事務原理與最佳化最佳實踐MySql
- RocketMQ Streams在雲安全及 IoT 場景下的大規模最佳實踐MQ
- 微服務在彈性雲實現無損釋出實踐微服務
- 京東雲的雲原生理念及 Serverless 最佳實踐Server
- 監控雲流量的七種QoS最佳實踐
- 容器技術在企業落地的最佳實踐
- 2020可信雲大會:騰訊雲防火牆獲評可信雲年度服務最佳實踐防火牆
- 京東雲Kubernetes叢集最佳實踐
- 三艾雲 Kubernetes 叢集最佳實踐
- 某城商行核心系統全棧國產化實踐全棧
- 最佳實踐丨雲開發CloudBase多環境管理實踐Cloud
- Iceberg在袋鼠雲的探索及實踐
- 微服務架構十條最佳實踐微服務架構
- 同程旅遊微服務最佳實踐微服務
- 微服務快取原理與最佳實踐微服務快取