走向自主可控,從國產化軟硬體升級替換開始

陶然陶然發表於2023-12-28

  在當今快速發展的科技時代,軟硬體的升級和替換已成為企業持續發展的重要驅動力。隨著國家對自主可控技術的重視,國產化軟硬體的升級替換已成為行業趨勢。

  為此,ITPUB特別策劃了主題為“國產化軟硬體升級替換之路”的系列沙龍。邀請行業內的專家共同探討在數字化浪潮下,如何實現國產化軟硬體的平滑、穩定和安全升級替換。

  我們迎來了第七期分享,達夢資料技術(江蘇)有限公司總經理付新、阿里雲資料庫空天資料庫產品負責人宋震、拓數派產品社群總監吳疆、澤拓科技資料庫高階技術專家吳夏四位專家,分享了他們在國產化軟硬體替代方面的最新研究成果和實踐經驗。

  01

  付新:達夢分散式NOSQL資料庫架構探索與實踐

  付新帶來了“達夢分散式NOSQL資料庫架構探索與實踐”的主題分享,結合達夢公司多款分散式NOSOL資料庫架構的實踐經歷,介紹了達夢在NOSOL資料庫領域的分散式架構演變路徑與主要創新點,並對產品後續發展方向進行展望。

  付新表示,達夢分散式NOSQL資料庫最初採用的是典型分散式資料庫架構,該架構採用計算/儲存分離,計算節點無狀態,儲存節點資料分片,多副本,無單點故障,負載均衡,整個儲存系統可以組成超大型KV系統,並採用LSM樹支援順序寫。

  但是,在後續的應用過程中,典型分散式架構出現了各種業務問題:如,存算分離架構在部分場景通訊代價大;分散式資料庫不適應單機/雙機場景;資料儲存成本高;資料分佈方式不靈活;資料分片方式不靈活;資料遷移代價大;整個儲存叢集形成一個大KV系統對使用者資源控制不便;分散式資料庫的LSM樹寫放大突出等。

  針對上述問題,達夢分散式NOSQL資料庫架構正在不斷演進及完善,實現了存算分離/存算一體自適應;單機分散式一體化;並靈活定義了副本數、資料分佈節點和資料分片方式;透過建庫時預估資料規模,實現了高速擴縮容和資料遷移;透過租戶與database關聯實現了多租戶資源控制。

  展望未來,付新表示,首先雲端計算為分散式資料庫提供了可擴充套件的儲存和計算資源,新的分散式資料庫應該充分利用雲端計算高可靠、高可擴充套件的分散式儲存能力,實現更高效的資料處理、更低的成本和更好的可擴充套件性。其次,充分利用AI技術,實現智慧調優、智慧查詢、DB4AI等。最後,資料庫一體機融合最佳化,達夢希望能推動國產資料庫一體機更好地發展。

  02

  宋震:雲原生資料庫PolarDB的技術佈局與功能體驗

  宋震帶來了“雲原生資料庫PolarDB的技術佈局與功能體驗”的主題分享,依託阿里雲資料庫重點建設的解決方案體驗館功能,介紹了雲原生資料庫PolarDB的主要技術佈局以及在相關領域的實踐案例。

  宋震表示,雲端計算加速推動了資料庫系統的演進。從資料庫發展歷程看,有以下幾個階段:首先是從商業起步,不斷向開源邁進;第二是從結構化資料線上處理向海量資料計算與分析演進;第三是從標準的結構化資料向多模發展。而云計算的出現從兩方面進行了推動,即:計算分析一體化,減少了資料移動;儲存計算分離,實現了資源池化、解耦。

  針對上述趨勢,阿里雲資料平臺持續向四化演進,即,雲原生化、平臺化、一體化和智慧化,希望讓資料管理開發像搭積木一樣輕巧有趣。具體體現在以下幾個方面,軟硬協同最佳化,PolarDB儲存節點(PolarStore)引入Smart-SSD並進行深度軟硬體協同;PolarDB基於DBaaS平臺實現Serverless高彈性;PolarDB支援了OSS、PolarStore的多型分層儲存。

  不僅如此,PolarDB還提供了全面的HTAP能力,“DB + Cache“一體化實現資料自動同步與融合,幫助使用者降本增效、提升體驗。在智慧化管理方面提供資料庫自治服務(DAS),在安全性方面,阿里雲PolarDB是全球首個基於可信硬體的全加密資料庫雲服務。

  談到阿里雲瑤池資料庫體驗館時,宋震表示,我們如何讓使用者更瞭解我們?如何為使用者提供開箱級的實測?這就是建立體驗館的背景。以PolarDB無感切換功能體驗為例,PolarDB的無感秒切技術從故障探測、切換速度和切換體驗三個方面對切換場景進行了最佳化,整合了多項技術,來解決使用者在極致高可用方面的痛點問題。我們希望能給使用者帶來一站式體驗行業典型場景與資料庫優勢功能的實踐。

  03

  吳疆:πDatacS賦能工業軟體創新與實踐

  吳疆帶來了“πDatacS賦能工業軟體創新與實踐”的主題分享,隨著數字化時代的到來,工業領域正經歷著巨大的變革,很多企業在工業軟體的創新和實踐過程中面臨一系列挑戰。吳疆表示,大資料應用涉及三個關鍵要素,即,資料、計算、模型。πDatacS的產品定位是靈活擴充套件的資料引擎,支援關係型資料庫SQL、Spark/Flink等流批一體處理、LLM的向量資料庫以及GIS地理資料庫等。

  同時,πDatacS具備整體資料平臺方案,支援多模資料處理 (結構化、半結構化以及非結構化資料),實現資料共享和分析。透過軟體最佳化與新硬體(FPGA)加速,實現資料全鏈路的效能飛躍讓資料儲存、SOL查詢、向量計算以及機器學習等能力全面升級。

  據吳疆介紹,πDatacS具備三大優勢:πDatacS全面升級Hadoop大資料和Greenplum數倉至雲原生資料平臺;全面支援大語言基礎模型和私域資料結合做垂直應用;雲原生下eMPP計算引擎全面顛覆MPP技術,大模型資料計算新正規化。

  吳疆詳細介紹了πDatacS計算引擎之PieCloudDB虛擬數倉、PieCloudVector雲原生向量資料庫和PieCloudML(大模型)機器學習,他們可以支撐更大模型所需的資料和計算,為大模型提供獨特記憶併為更大模型多模機器學習資料計算。

  在成功實踐方面,以某大型汽車集團全面升級大資料平臺至雲原生πDataCS為例,該企業依託於集團內部需求,建設了一個雲平臺,提供基礎設施服務。隨著子公司接入的數量越來越多,資料量也急劇增長,原本採用的Hadoop平臺無法滿足業務的分析需求。最終,使用者採用了PieCloudDB作為核心數字底座,完成原來CDH(Hadoop)平臺的替換,構建了製造業行業雲的資料中臺服務,既面向集團內部服務,同時也面向行業的公司提供服務。

  04

  吳夏:融合社群資源構築強大的資料管理平臺

  吳夏帶來了“融合社群資源構築強大的資料管理平臺”的主題分享,介紹了澤拓崑崙Klustron的架構與核心能力、融合與生態相容能力以及應用場景和成功實踐。

  據吳夏介紹,澤拓崑崙Klustron是分散式HTAP資料庫,可擴充套件的AI資料基礎設施。主要元件包括計算節點、儲存叢集、後設資料叢集、cluster_mgr叢集和XPanel等,並具備水平彈性伸縮能力和金融級高可靠性。

  據瞭解,Klustron可以用伺服器叢集實現高效能TB級資料儲存管理和分析利用,在關係模型基礎上支援GIS、JSON和向量資料管理,並透過庫內執行機器學習和使用者自定義資料處理任務,及分散式多層級並行查詢處理,在眾多應用場景為使用者創造巨大價值。

  在生態相容能力方面,Klustron相容標準SQL、PostgreSQL和MySQL的應用和工具軟體生態,融合利用PostgreSQL,支援PostgreSQL生態的向量資料管理元件等。

  在成功實踐方面,以環保再生資源處理行業為例,回收資料主要分類包括:低值廢棄物、塑膠、紙類、金屬等,分配工具和其他資源是使用PostGIS儲存車輛的路線規劃、區域電子圍欄等空間地理位置資訊,並且每批次回收分類後重量等資訊都要寫入資料庫。

  客戶也提出了迫切需求,希望運維成本減少、資料容量增加,效能也需要保持或提升、DDL不能影響業務、要求自動故障轉移,故障恢復時長小於1min、監控粒度和告警規則易維護調整、同時支援定製化、能夠支撐PostGIS使用資料量快速增長。

  針對上述需求,使用者最終採用Klustron後得到了價值提升,具體包括:運維成本降低60%;無限擴容,效能從平均耗時350ms提升至60ms;OnLineDDL,不鎖表,不影響業務;FullsyncHA故障恢復能力,RTO≤30s;完備的監控和告警機制及策略和可容納PostGIS使用的資料量快速增長。

  在最後的圓桌討論環節,幾位專家就如何確保平滑穩定且安全的進行升級替換?是“平替”還是“升級改造”?以及技術人員如何應對當下技術環境等話題進行了深入交流。

  專家們指出,在升級替換過程中,應注重平替與升級改造的平衡。一方面,平替可以快速地完成替換,降低對業務的影響;另一方面,升級改造可以更好地滿足未來的業務需求,提升系統的效能和穩定性。對於技術人員來說,不斷學習新技術和掌握新工具是必不可少的。同時,技術人員還應關注技術的趨勢和發展,以便更好地應對未來的技術環境。此外,加強團隊之間的溝通和協作也是確保專案順利實施的關鍵。

  小結,國產化軟硬體升級替換之路是一項複雜的工作,需要綜合考慮各種因素,只有透過深入的討論和交流,才能更好地應對當前的技術環境,為企業的數字化轉型提供有力支援。

來自 “ ITPUB部落格 ” ,連結:https://blog.itpub.net/28285180/viewspace-3001936/,如需轉載,請註明出處,否則將追究法律責任。

相關文章