浪潮K-DB在城商行和政務雲的最佳實踐

網路通訊頻道發表於2021-01-05

近年來,國產資料庫廠商不斷湧現。據不完全統計,國產資料庫廠商的數目已從最開始的十餘家,迅速增長到兩百多家,形成百花齊放的局面,其中主要分為三大流派:雲資料庫廠商(阿里雲、騰訊雲等)、核心式資料庫廠商(浪潮、達夢等),以及分散式資料庫廠商(中興、PingCAP等)。

國產資料庫的建設困境與解決對策

伴隨著國產資料庫的快速崛起,資料庫的種類也逐漸增多,這導致了適配的選型變難,業務遷移的相容性變差,複雜度攀高。此外,企業使用者缺少完善生態與運維工具;多廠商承接業務,改造升級配合度低等問題層出不窮。

▲浪潮資料庫首席架構師 蔣琪

浪潮資料庫首席架構師蔣琪表示,“企業使用者在之前選擇傳統資料庫產品時,主要考慮高可用、高效能、易用性。現在做選型時,他們都會做專業的POC,生成本行業或企業的採購名錄,並參考第三方對資料庫的測試結果。”

針對選型難,浪潮K-DB關係型資料庫支援K-RAC叢集和KSC主備叢集,併發布浪潮inData資料庫一體機,效能到達國際領先水平。針對遷移難,K-DB全面支援Oracle欄位、分割槽表等高階功能,儲存過程高度支援,不需要轉換,K-UP遷移及分析工具能夠幫助使用者一鍵式遷移國外主流商業資料庫,應對不同的時間視窗並提供相應的遷移方案。針對運維難,浪潮提供K-DB Studio開發者工具、KdLoader載入工具、K-DB Manager圖形化監控工具,以及匯入匯出等多種工具。針對阻力大,浪潮已和100多家ISV進行合作,適配上千種應用,不斷擴大生態圈。

浪潮inData資料庫一體機支援智慧過濾、儲存索引、智慧快取等先進技術,利用高效能的NVMe PCIe快閃記憶體驅動器作為快取,同時結合橫向擴充套件儲存、InfiniBand網路、資料庫分流等技術,為海量資料業務系統提供了強勁的處理能力。其inData資料庫一體機計算引擎採用 K-RAC共享儲存多活叢集,K-RAC環境中的所有例項透過共享資料庫處理事務,對共享資料,透過快取融合、全域性鎖機制管理等複雜技術保持資料一致性和完整性。

浪潮inData資料庫一體機實踐案例

在剛剛結束的DTCC 2020大會上,蔣琪分享了浪潮inData資料庫一體機的兩個成功案例,傳授了關於異構資料庫遷移的經驗。在去O過程中,遇到過哪些問題,如何幫助企業使用者規避風險?

inData在城商行的實踐案例

眾所周知,銀行ODS系統(運算元據儲存)是資料倉儲中的一部分,能夠為客戶帶來統一的資料標準化體系,減少重複開發;帶來統一歸集與資料分發,便於資料探勘與決策分析;帶來統一全行資料與技術架構,保障業務需求。

▲某城商行系統架構圖

在ODS業務架構中,批次進行資料分發、資料加工,繼而進行資料歸集和資料探勘,最後提供一張報表。蔣琪指出,“原來的架構有兩臺Oracle一體機,資料來源包括二代支付系統、新網銀系統等,透過排程程式將資料抽取到ODS裡面,改造之後使用Oracle一體機,作為浪潮inData資料庫一體機的容災,一臺作為EDW使用。”

原有的系統擁有四個痛點:所有資料都集中在ODS中,凸顯效能瓶頸;資料庫一體機的使用年限較長,需要新購、擴容、維保費用昂貴;排程軟體版本老舊,BUG嚴重;急需內部改造,使ODS和EDW解耦。

▲浪潮改造方案

針對上述問題,浪潮與客戶一起制定改造方案,由inData替代Exadata,浪潮ETL工具替代商業Informatica,浪潮排程軟體替代已有排程軟體。整體遷移過程包含資料庫調研、相容性分析、POC測試,以及可行性驗證等,全面業務改造總共分為業務改造和應用改造兩部分。

針對業務層改造,行內的資料專家會進行資料庫治理,改造的部分包括模型,資料表和生態表的增加,提高了ODS整個資料的合理性,深入挖掘和分析資料,提高了資料價值。

針對應用層改造,浪潮和行內工程師共同完成改造及最佳化,資料庫本身沒有遷移和改造成本。蔣琪透露道,“ETL抽取資料直接載入到K-DB,做兩次資料校驗,一次是載入前效驗,一次是定期的資料效驗,保證資料的準確性。”

改造完成之後,經過全面的業務測試,結果證明,浪潮inData資料庫一體機是替代Oracle Exdata的最佳解決方案,可以滿足使用者對效能、穩定性、高可用的要求;滿足使用者未來三年的業務發展,滿足使用者國產化的要求。

inData在政務雲的實踐案例

某省電子政務大資料平臺系統,服務於全省2000多萬人,業務高峰期併發使用者訪問數超過5萬人,TPS10000+,對後端資料庫的可靠性、效能以及安全性要求極大。

該使用者面臨著三大挑戰:原業務系統存在效能瓶頸,業務高峰期CPU利用率高達90%左右,磁碟I/O峰值達到100%,無法支撐前端突然增大的併發訪問的壓力,並且不能隨業務需求進行彈性擴充套件,安全防護不夠,存在被攻擊、資料洩露等安全隱患。

▲某政務雲的架構圖(改造後)

浪潮inData資料庫一體機提供了彈性擴充套件的系統資源,滿足了業務伸縮的需求。在雲上業務,整個CPU使用率達到15%,I/O峰值控制在45%左右。

同時浪潮提供7×24小時的無憂維護服務,併為使用者提供資料庫備份服務,可以多執行緒支援資料備份,保障備份效率。與此同時,計算與資料儲存資源按需擴充套件,浪潮inData資料庫一體機可以支援HTAP混合負載,提供了極致最佳化的資料處理效能。

在過去的一年中,在技術方面,浪潮進一步最佳化了inData資料庫一體機的效能,並開發了更多周邊工具,完善了監控工具和遷移工具相應的功能。在生態方面,浪潮不斷擴大合作伙伴範圍,數量同比提升了60%。浪潮資料庫團隊緊跟使用者需求,不斷打磨產品,繼續提高軟硬結合的力度,並加大研發投入,使inData資料庫一體機為更多的中國客戶提供優質的服務。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545813/viewspace-2747437/,如需轉載,請註明出處,否則將追究法律責任。

相關文章