《國產分散式資料庫應用現狀調研報告》閱讀小記

老魚筆記發表於2023-10-26

1、分散式資料庫在國內發展迅速,已廣泛應用於國內企業,且雲化部署已成常態;

調研結果顯示,大部分受訪者所在企業已經部署了分散式資料庫,佔66.92%的大比率,而計劃部署和正在部署的企業也佔15%以上,僅10%左右的企業仍然未有計劃使用分散式資料庫。

對於已經部署分散式資料庫的企業,我們對其部署形態進行了調研,結果顯示企業資料庫雲化部署已經是目前分散式資料庫部署的最常見形態,其中私有云佔36.60%,混合雲佔27.36%,公有云佔16.82%,而純軟體部署的分散式資料庫只佔13.31%。

2、企業應用分散式資料庫的重要原因

目前國內企業選用分散式資料的根本出發點仍在於其所提供的技術先進性可以彌補傳統資料庫在海量資料處理能力、高併發處理能力以及高可用性等方面的不足,體現了分散式資料庫在動態擴充套件能力、分散式平行計算以及多副本高可用等方面的顯著優勢。

3、企業選型分散式資料庫的 4+1要素

企業選型分散式資料庫基本圍繞4+1要素,即:可靠性和穩定性、整體成本、產品功能和易用性、相容性,以及分散式資料庫最具吸引力的可擴充套件性;

受訪者認為分散式資料庫最吸引人的特性依次為“可擴充套件性”、“高可用性”和“資料一致性”。其中“可擴充套件性”和“高可用性”是分散式資料庫相對於傳統資料庫的優勢所在,而“資料一致性”雖然在傳統觀念上被認為是分散式系統的一個弱項,但隨著分散式資料庫技術發展,越來越多的分散式資料庫能夠基於分散式協議實現全域性的資料多副本強一致性。分散式資料庫在資料一致性方面的不斷加強,讓越來越多企業可以放心將分散式資料庫應用在核心交易系統上,這也成為分散式資料庫能落地于越來越多應用場景的關鍵所在。

對分散式資料庫選型的考量,受訪者最關注的是產品的可靠性和穩定性,佔比達18.57%,遠高於其他因素,可見穩定是一切的前提和基礎仍然是企業使用分散式資料庫的普遍共識。其次,整體成本、產品功能及易用性、相容性依次位列於第二、三、四位,也是分散式資料庫選型的主要考量因素。

4、加密與審計是最被看重的國產分散式資料庫的資料安全能力

近年來,我國不斷推進以資料為新生產要素的資料經濟的發展,同時,國家、行業和地方性法律法規也相繼出臺,促使企業對自身資料安全愈加重視。資料庫作為企業資料儲存和應用的主要載體,在資料儲存、資料通訊、身份識別/鑑權、訪問控制、資料分級、安全審計、防篡改等方面都具備不同的資料安全管理能力。在本次調研中,我們也對受訪者希望國產分散式資料庫具備的資料安全管理能力進行了調查。

結果顯示,23.56%的受訪者認為應該優先實現資料庫記憶體儲加密,19.36%認為應該加強在資料傳輸階段的加密,另外也有19.19%認為資料訪問的安全審計最為重要。這三項實際分別對應了整個資料儲存、通訊傳輸以及訪問使用的三個環節,可見這三個環節是目前企業在資料安全層面最為關注的。

5、資料庫容災技術普遍應用於核心系統

資料庫儲存著企業關鍵的業務資料資產,若資料丟失,將會對企業造成不可估量的經濟損失,尤其是金融行業,其事務特點決定了對資料保護以及資料庫服務的可用性有更高的RTO和RPO要求。

從本次調研資料可見,33.46%的企業採用兩地三中心的資料庫容災架構,採用同城異地容災以及同城雙中心容災的分別有12.75%以及17.01%,本地同資料中心主備容災的也有22.37%。由此可見,當前國內企業對資料庫的容災建設十分重視,對核心系統的資料保護和可用性保障投入非常大。

調研中僅有5.18%的企業採用三地五中心的容災方案,我們認為雖然這種方案可以提供城市級別的資料容災保護,但過於高昂的建設成本、嚴苛的網路頻寬和時延要求是主要的實施障礙。此外,值得注意的是仍然有近10%的企業沒有針對自身的核心繫統建設容災方案,一旦這些無容災保護的資料庫停機,業務將可能受到長時間的影響,建議企業後續多加註意和改善。

6、穩定性保障、運維複雜度、改造成本,是企業使用分散式資料庫的主要難點;

調研結果顯示,企業在使用國產分散式資料庫時普遍認為以下三個問題最棘手,這三個問題在收集樣本量上非常接近。

第一,可靠性和穩定性。資料庫是整個應用系統的核心,一旦癱瘓意味著承載應用和業務中斷,因此資料庫的可靠性和穩定性尤為重要。

第二,運維與備份複雜度提升。使用分散式架構會導致整個資料叢集運維和備份等操作的難度增大,同時運維人員也會擔憂遷移到國產分散式資料庫後,運維技能和方式與原來相比有過大差異,無法對資料庫進行有效運維。

第三,對原有應用系統升級的改造成本較高。企業已經建設的應用程式碼和架構可能與分散式資料庫並不相容,需要進行相關改造,兩者相容性越低,改造的工作量和成本越大。

因此,國產資料庫廠商應當加強對上述問題的攻關,不斷最佳化資料庫產品的可靠性和穩定性,聯合社群研發更多運維、備份和遷移相關的工具,以便使用者更好地使用分散式資料庫。

7、分散式資料庫整體使用成本比傳統資料庫略有下降,但也有部分企業出現成本大幅上升的情況;

對於分散式資料庫的整體使用成本,根據已經部署了分散式資料庫的受訪者反饋,成本略有下降的佔多數,為35.31%,其次是29.16%的人表示與原有支出持平,21.41%的人表示有了大幅下降,值得注意的是還有14.12%的人表示成本不降反漲,有了大幅上升。

分散式叢集在業務使用初期,如對大量業務做資料整合和治理,在成本層面的收效會更加明顯,會節約很多冗餘的伺服器資源成本,也就是成本會比預期低很多;

部分使用者對分散式資料庫的預期過高,有點偏向於“銀彈”的設計思想,會採用ALL-IN的方式解決一切問題,在成本方面投入明顯要多一些;

分散式叢集因內部節點通訊的協議實現,對資源的要求相對較高,對基礎資源配置,如CPU、記憶體和磁碟IO都提出了更高要求,否則單一節點的資源瓶頸可能會對整體叢集效能造成負面影響。在同等業務規模和容量的情況下,投入的資源成本持平或者會多一些;

分散式叢集是一種全新的資料庫設計方案,需要一定的學習成本,對企業自身的體系設計和維護方面都有較高要求。在節點規模和數量上,由於多資料副本的設計,與原本資料管理方式的成本考量存在較大差異;

8、將核心應用系統遷移到國產分散式資料庫仍面臨巨大挑戰;

將核心業務遷移到國產分散式資料庫是一項重大的工程,並非所有的遷移都是簡單的資料庫替換,更多的是關於整個技術堆疊的替換,並且涉及整個業務鏈路自上而下的資訊傳遞。

對於將核心應用系統遷移到國產分散式資料庫中可以接受的停機時間,僅有11.43%的受訪者可以接受24小時以內。從整體上看,受訪者對於國產分散式資料庫的遷移能力抱有很高期望,而期望停機時間在分鐘級和2小時以內的受訪者高達27.74%和24.70%,意味著很多業務需要實現線上平滑遷移,這對於多數國產分散式資料庫來說是一個很大的挑戰。

9、國產分散式資料庫生態建設仍有較大發展空間,需加強文件體系、技術社群的建設和完善,資料庫專業人員亟需補充和強化;

在本次調研中,近半數的受訪者認為要掌握一種資料庫的開發和運維技能,最有效的途徑是藉助完善豐富的文件體系和活躍的技術社群。

在我國資訊化發展初期,Oracle之所以能在國內取得實際市場的統治地位,與其完善豐富的文件體系和活躍的技術社群密不可分。藉助文件和社群,能對Oracle進行體系化的學習和針對性的問題討論,就此培養出大量熟悉Oracle的開發者和資料庫管理員,也由此推動了Oracle自身產品的不斷成熟。目前,不少國產資料庫廠商對產品文件和社群建設還缺少足夠的投入,例如產品文件中存在不少錯漏或前後不一致的表述,這些都是各廠商後續仍需改進的地方。

10、SQL相容性需求更傾向於MySQL與Oracle

SQL相容性是業務遷移到分散式資料庫繞不開的議題,SQL相容度高意味著更低的業務邏輯改造成本和更穩定持續的業務服務保障。目前行業內主流的三類資料庫技術棧協議包括Oracle、MySQL和PostgreSQL,本次受訪中43.78%和31.34%的人更傾向基於MySQL和Oracle的SQL相容性,PostgreSQL則佔據了19.39%,在近些年也有較快的發展。

透過以上資料可以看出,在大多數企業中,很可能會基於多種資料庫技術選型來滿足當前的業務需求,如Oracle與MySQL或PostgreSQL組合,主要是基於業務現狀,考慮到會導致的遷移風險與成本,核心/複雜業務仍執行在傳統商用資料庫上,所以商用與開源共存的現象也會相對普遍;相較於傳統行業,網際網路行業的業務包袱會輕一些,所以直接使用MySQL與PostgreSQL等開源資料庫的技術棧組合更多。

在SQL相容性方面,如果能夠相容多種SQL協議,對於業務接入和選擇的空間會更大,同時一體化的接入方案對研發也會更加友好。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/11310314/viewspace-2991370/,如需轉載,請註明出處,否則將追究法律責任。

相關文章