當HTAP已成標配,什麼才是制勝關鍵?

qing_yun發表於2023-09-21

過去十五年來資料技術蓬勃發展,企業的IT系統變得越來越複雜。融合成為近年來資料技術發展的重要趨勢,尤其在資料庫領域,軟硬融合、流批一體、HTAP、多模融合等逐漸落地。

隨著供需關係的變化,資料庫的競爭已經進入下一階段,如何利用新技術簡化架構複雜度,最大化利用IT資源,如何打造一款簡單易用的資料庫助力企業降本增效,這些都是企業和廠商共同的追求,很多企業在融合方面進行創新探索。

資料庫競爭已進入下個階段

技術細分與融合是一個不斷變化的過程,會隨著供給與需求的變化而動態調整。以HTAP資料庫的發展為例:

關係型資料庫的業務負載通常分為TP負載和AP負載,TP一般是做交易型的業務,資料量小,但要求低時延、高吞吐,對安全、高可用、穩定性有較高的要求。AP一般對歷史資料進行分析,對系統資源開銷大,主要面向資料量大、查詢複雜以讀為主的分析類業務。

早期資料量較小,資料庫並不區分TP和AP,所有業務都放在一個資料庫上,比如Oracle既能支援TP負載,也能支援AP負載。隨著時間的推移,資料量逐漸增大,受限於當時的技術,一套架構很難滿足不同的負載需求,TP和AP開始分開,交易型資料庫處理TP負載,資料倉儲處理AP負載,中間透過ETL工具將交易型資料庫上的資料傳輸到資料倉儲中,當時業務對時效性要求並不高,可以滿足業務需求。

隨著數字化深入,市場變化加快、競爭加劇,企業需要獲得實時洞察指導經營決策。以前做分析需要將資料從OLTP庫ETL到數倉再進行分析,實時能力弱,隨著對更大規模、更復雜的資料集進行實時分析的需求不斷上升,催生出了HTAP資料庫。實際上,技術的變革是供給和需求雙方共同推動的結果,在供給側網路、硬體、軟體等技術升級,在需求側業務對實時性要求變高,企業追求降本增效,使得資料技術走向融合,TP和AP的融合是資料技術走向融合的一大方向。

從需求側來看,實時分析需求的提升為HTAP資料庫提供了豐富的應用場景。

比如銀行欺詐檢測場景,檢測不適當的訪問以及防止身份盜竊等,這需要資料儘可能是最新的並且檢測可以實時進行才會有效,HTAP資料庫可以支援銀行欺詐檢測這樣的實時分析業務。

企業內部各類資料匯聚的資料中臺場景,傳統承載資料中臺的解決方案都是基於 Hadoop 體系,但是 Hadoop 元件極為複雜,有較高的開發和運維門檻,對於很多企業來說成本太高。HTAP資料庫可以替換Hadoop體系,簡化架構複雜度,降低開發和運維等方面的成本。

IoT物聯網場景。隨著感測器和物聯網技術的大量應用,海量 IoT 裝置生產了大量的資料,比如製造業工廠生產線,新能源汽車,城市安防監控攝像頭等等,資料規模大,可能輕易能達到數百 TB 甚至 PB 級別,這類偏時序的場景,提供實時監控、預警,精準實時的資料採集和資料分析是關鍵,需要具備可擴充套件能力的HTAP資料庫提供支援。

HTAP已經成為資料庫的標配

HTAP成為資料庫技術發展的當紅炸子雞,在剛剛結束的DTCC2023大會上也可以看到越來越多的資料庫產品支援HTAP混合負載,HTAP已經成為新一代資料庫的標配。

近兩年,國內外各方都在積極佈局HTAP。比如:Snowflake釋出新的行儲存引擎UniStore,正式進軍HTAP領域;谷歌雲釋出AlloyDB,具備HTAP能力;openGauss釋出3.1版本,從原有的OLTP擴充套件到HTAP;中興通訊旗下金篆信科釋出面向混合交易負載場景的GoldenDB v7.0年度新版;亞馬遜在re:Invent 2022大會上提出了“Zero-ETL”,將Aurora和Redshift融合打通形成HTAP解決方案;今年3月,阿里雲在瑤池資料庫峰會上宣佈將PolarDB和AnalyticDB打通融合,形成“雲原生一體化”的HTAP解決方案;日前,矩陣起源釋出了雲原生HTAP資料庫MatrixOne1.0RC1版;騰訊雲釋出TDSQL融合版,強化HTAP能力……

初創廠商對市場的變化、新技術的發展和應用往往比較敏感,關於HTAP為什麼會成為標配,資料庫初創廠商矩陣起源Global CTO田豐給出了他們的觀察和思考,現在企業都有降本增效的需求,隨著應用上雲之後業務變得多樣化,如果資料庫不能夠支援HTAP,開發、運維的成本會非常高,HTAP資料庫在同一份資料上同時支援AP和TP的工作。從資料的一致性、開發效率、運維效率來看,HTAP都是不可逆轉的方向。

企業在進行HTAP資料庫選型時,一方面會關注擴充套件性,隨著業務和資料不斷增大,資料庫也需要能夠靈活地擴容支撐其業務增長。另一方面會關注價效比,為企業帶來降本增效。此外,資源隔離能力、自調優能力、效能等也是客戶選型HTAP資料庫時關注的因素。比如自調優能力,需要根據不同負載進行資源最佳化,最大化利用資源。

什麼是資料庫產品的制勝關鍵?

在需求較為明確時,各方都會爭相佈局,競爭也會變得激烈。創新的架構是避免同質化競爭,打造差異化優勢的關鍵。 雲無疑是IT技術的破壞性創新的代表,為資料庫架構創新帶來了新的機遇。

田豐介紹,當前眾多的HTAP資料庫,大概有以下幾種技術路線。一是從TP走向AP,在TP基礎上增加AP能力。二是從AP走向TP,在AP的基礎上增加TP的能力。三是從一開始同時支援AP和TP。其中有的方案是將一套TP系統和一套AP系統粘合起來,表面上看一套HTAP系統,但是粘合的方案在資料新鮮度和延遲方面難以把控,能力相對會弱一些。而且在一套系統的基礎上增加額外的能力,在資源隔離、資源最佳化方面也會遇到挑戰。

以自調優為例,自調優的過程最重要的是對儲存進行最佳化,而儲存的最佳化AP、TP都不一樣,傳統的資料庫很難做好,云為自調優帶來了新的機會,可以根據不同的負載任意選用不同的機型最佳化,更加靈活,雲原生為資源利用提供了很好的落地基礎。

實際上,使用者對資料庫的需求並不是簡單的TP和AP,使用者真正的需求是讓寫得更好、更準,讀得更多、更快,人為地做了很多應用之後就把TP和AP兩個資料庫分開。雲使得資源顆粒度更細且能近似無限地擴充套件,這意味著對於使用者需求的組合可以不像以前那樣一定是TP和AP之分。 比如MatrixOne將儲存、計算、事務三層解耦,透過完全容器化的設計來實現極致擴充套件,更細顆粒度地按照資料的操作混合,透過資源隔離最佳化,充分利用資源,這樣的架構創新離不開雲的支援。

隨著數字化轉型不斷深入,業務負載會更加複雜多元。企業更願意去使用能處理多種負載的資料庫。未來,如何能夠融合更多的負載,可能會是一個融合性資料庫廠商獲得更大勝利的一個方向。也許比別人多融合一種,在客戶那裡產生的價值就能多提升一倍甚至兩倍。不過融合也會有其邊界,世上並不存在所謂的皇帝資料庫。融合性資料庫需要考慮到環境的變化,資料庫在IT基礎設施中位於中間層,環境變化體現在供給和需求兩個方面,底層的計算、儲存和網路資源的供給發生了什麼變化,應用側使用者的需求和痛點是什麼,如何利用計算、儲存、網路的一些新發展,更好地滿足使用者融合統一管理資料的需求,這些都非常關鍵。

小結

什麼是資料庫產品制勝的關鍵?簡單來講是要回答如何打造一款好用有價值的資料庫,對市場的動態足夠敏感,充分考慮供需環境的變化進行架構創新,比如融合,利用雲的優勢等,這些都很重要。然而,架構創新並不是好資料庫的保障,世上也沒有完美的架構。架構的創新需要好的工程實現 。在快速變化的時代,基礎軟體的創新發展需要長期主義,小步迭代快跑,畢竟好的資料庫是用出來的,更是在工程上不斷迭代最佳化出來的。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69925873/viewspace-2985076/,如需轉載,請註明出處,否則將追究法律責任。

相關文章