當HTAP已成標配,什麼才是制勝關鍵?
過去十五年來資料技術蓬勃發展,企業的IT系統變得越來越複雜。融合成為近年來資料技術發展的重要趨勢,尤其在資料庫領域,軟硬融合、流批一體、HTAP、多模融合等逐漸落地。
隨著供需關係的變化,資料庫的競爭已經進入下一階段,如何利用新技術簡化架構複雜度,最大化利用IT資源,如何打造一款簡單易用的資料庫助力企業降本增效,這些都是企業和廠商共同的追求,很多企業在融合方面進行創新探索。
資料庫競爭已進入下個階段
技術細分與融合是一個不斷變化的過程,會隨著供給與需求的變化而動態調整。以HTAP資料庫的發展為例:
關係型資料庫的業務負載通常分為TP負載和AP負載,TP一般是做交易型的業務,資料量小,但要求低時延、高吞吐,對安全、高可用、穩定性有較高的要求。AP一般對歷史資料進行分析,對系統資源開銷大,主要面向資料量大、查詢複雜以讀為主的分析類業務。
早期資料量較小,資料庫並不區分TP和AP,所有業務都放在一個資料庫上,比如Oracle既能支援TP負載,也能支援AP負載。隨著時間的推移,資料量逐漸增大,受限於當時的技術,一套架構很難滿足不同的負載需求,TP和AP開始分開,交易型資料庫處理TP負載,資料倉儲處理AP負載,中間透過ETL工具將交易型資料庫上的資料傳輸到資料倉儲中,當時業務對時效性要求並不高,可以滿足業務需求。
隨著數字化深入,市場變化加快、競爭加劇,企業需要獲得實時洞察指導經營決策。以前做分析需要將資料從OLTP庫ETL到數倉再進行分析,實時能力弱,隨著對更大規模、更復雜的資料集進行實時分析的需求不斷上升,催生出了HTAP資料庫。實際上,技術的變革是供給和需求雙方共同推動的結果,在供給側網路、硬體、軟體等技術升級,在需求側業務對實時性要求變高,企業追求降本增效,使得資料技術走向融合,TP和AP的融合是資料技術走向融合的一大方向。
從需求側來看,實時分析需求的提升為HTAP資料庫提供了豐富的應用場景。
比如銀行欺詐檢測場景,檢測不適當的訪問以及防止身份盜竊等,這需要資料儘可能是最新的並且檢測可以實時進行才會有效,HTAP資料庫可以支援銀行欺詐檢測這樣的實時分析業務。
企業內部各類資料匯聚的資料中臺場景,傳統承載資料中臺的解決方案都是基於 Hadoop 體系,但是 Hadoop 元件極為複雜,有較高的開發和運維門檻,對於很多企業來說成本太高。HTAP資料庫可以替換Hadoop體系,簡化架構複雜度,降低開發和運維等方面的成本。
IoT物聯網場景。隨著感測器和物聯網技術的大量應用,海量 IoT 裝置生產了大量的資料,比如製造業工廠生產線,新能源汽車,城市安防監控攝像頭等等,資料規模大,可能輕易能達到數百 TB 甚至 PB 級別,這類偏時序的場景,提供實時監控、預警,精準實時的資料採集和資料分析是關鍵,需要具備可擴充套件能力的HTAP資料庫提供支援。
HTAP已經成為資料庫的標配
HTAP成為資料庫技術發展的當紅炸子雞,在剛剛結束的DTCC2023大會上也可以看到越來越多的資料庫產品支援HTAP混合負載,HTAP已經成為新一代資料庫的標配。
近兩年,國內外各方都在積極佈局HTAP。比如:Snowflake釋出新的行儲存引擎UniStore,正式進軍HTAP領域;谷歌雲釋出AlloyDB,具備HTAP能力;openGauss釋出3.1版本,從原有的OLTP擴充套件到HTAP;中興通訊旗下金篆信科釋出面向混合交易負載場景的GoldenDB v7.0年度新版;亞馬遜在re:Invent 2022大會上提出了“Zero-ETL”,將Aurora和Redshift融合打通形成HTAP解決方案;今年3月,阿里雲在瑤池資料庫峰會上宣佈將PolarDB和AnalyticDB打通融合,形成“雲原生一體化”的HTAP解決方案;日前,矩陣起源釋出了雲原生HTAP資料庫MatrixOne1.0RC1版;騰訊雲釋出TDSQL融合版,強化HTAP能力……
初創廠商對市場的變化、新技術的發展和應用往往比較敏感,關於HTAP為什麼會成為標配,資料庫初創廠商矩陣起源Global CTO田豐給出了他們的觀察和思考,現在企業都有降本增效的需求,隨著應用上雲之後業務變得多樣化,如果資料庫不能夠支援HTAP,開發、運維的成本會非常高,HTAP資料庫在同一份資料上同時支援AP和TP的工作。從資料的一致性、開發效率、運維效率來看,HTAP都是不可逆轉的方向。
企業在進行HTAP資料庫選型時,一方面會關注擴充套件性,隨著業務和資料不斷增大,資料庫也需要能夠靈活地擴容支撐其業務增長。另一方面會關注價效比,為企業帶來降本增效。此外,資源隔離能力、自調優能力、效能等也是客戶選型HTAP資料庫時關注的因素。比如自調優能力,需要根據不同負載進行資源最佳化,最大化利用資源。
什麼是資料庫產品的制勝關鍵?
在需求較為明確時,各方都會爭相佈局,競爭也會變得激烈。創新的架構是避免同質化競爭,打造差異化優勢的關鍵。 雲無疑是IT技術的破壞性創新的代表,為資料庫架構創新帶來了新的機遇。
田豐介紹,當前眾多的HTAP資料庫,大概有以下幾種技術路線。一是從TP走向AP,在TP基礎上增加AP能力。二是從AP走向TP,在AP的基礎上增加TP的能力。三是從一開始同時支援AP和TP。其中有的方案是將一套TP系統和一套AP系統粘合起來,表面上看一套HTAP系統,但是粘合的方案在資料新鮮度和延遲方面難以把控,能力相對會弱一些。而且在一套系統的基礎上增加額外的能力,在資源隔離、資源最佳化方面也會遇到挑戰。
以自調優為例,自調優的過程最重要的是對儲存進行最佳化,而儲存的最佳化AP、TP都不一樣,傳統的資料庫很難做好,云為自調優帶來了新的機會,可以根據不同的負載任意選用不同的機型最佳化,更加靈活,雲原生為資源利用提供了很好的落地基礎。
實際上,使用者對資料庫的需求並不是簡單的TP和AP,使用者真正的需求是讓寫得更好、更準,讀得更多、更快,人為地做了很多應用之後就把TP和AP兩個資料庫分開。雲使得資源顆粒度更細且能近似無限地擴充套件,這意味著對於使用者需求的組合可以不像以前那樣一定是TP和AP之分。 比如MatrixOne將儲存、計算、事務三層解耦,透過完全容器化的設計來實現極致擴充套件,更細顆粒度地按照資料的操作混合,透過資源隔離最佳化,充分利用資源,這樣的架構創新離不開雲的支援。
隨著數字化轉型不斷深入,業務負載會更加複雜多元。企業更願意去使用能處理多種負載的資料庫。未來,如何能夠融合更多的負載,可能會是一個融合性資料庫廠商獲得更大勝利的一個方向。也許比別人多融合一種,在客戶那裡產生的價值就能多提升一倍甚至兩倍。不過融合也會有其邊界,世上並不存在所謂的皇帝資料庫。融合性資料庫需要考慮到環境的變化,資料庫在IT基礎設施中位於中間層,環境變化體現在供給和需求兩個方面,底層的計算、儲存和網路資源的供給發生了什麼變化,應用側使用者的需求和痛點是什麼,如何利用計算、儲存、網路的一些新發展,更好地滿足使用者融合統一管理資料的需求,這些都非常關鍵。
小結
什麼是資料庫產品制勝的關鍵?簡單來講是要回答如何打造一款好用有價值的資料庫,對市場的動態足夠敏感,充分考慮供需環境的變化進行架構創新,比如融合,利用雲的優勢等,這些都很重要。然而,架構創新並不是好資料庫的保障,世上也沒有完美的架構。架構的創新需要好的工程實現 。在快速變化的時代,基礎軟體的創新發展需要長期主義,小步迭代快跑,畢竟好的資料庫是用出來的,更是在工程上不斷迭代最佳化出來的。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69925873/viewspace-2985076/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- IT管理的制勝關鍵,“企業上雲”
- 對話ACE第五期:到底什麼才是真正的HTAP?
- Podman 已成 Linux 官方標配!Docker 沒戲了?LinuxDocker
- 數智時代,財務數字化轉型制勝的關鍵是什麼?_光點科技
- 自動駕駛行業急需一場勝利,適當調低目標才是正道自動駕駛行業
- 為什麼資源隔離對HTAP至關重要?
- 為什麼墨子作業輔導機能火?效率才是背後的關鍵
- win10怎麼強制關機重啟 win10當機強制重啟快捷鍵Win10
- 高效的資料分析成為應用營銷制勝的關鍵
- RPA和人工智慧:解鎖未來企業制勝的關鍵人工智慧
- 強制換行快捷鍵ctrl加什麼 wordexcel換行快捷鍵是什麼Excel
- 關鍵字const是什麼含意?
- 什麼才是真正的雲原生?
- 什麼是長尾關鍵詞?如何找到長尾關鍵詞?
- 什麼是關鍵詞策略?網站關鍵詞佈局重要嗎?網站
- mac強制關閉程式是哪個快捷鍵 mac強制關閉程式當機無效解決方法介紹Mac
- win10強制退出鍵是什麼 window10強制退出快捷鍵是哪個Win10
- 開源才是民族科技向前一步的關鍵
- 什麼才是低程式碼開發?
- Java 中 final 關鍵字有什麼用Java
- TRIZ專案成功的關鍵是什麼?
- python3的關鍵字有什麼Python
- 為什麼我們需要volatile關鍵字?
- Unity適配iPhone X---關於Home鍵指示器適配UnityiPhone
- 為什麼說資料服務是資料中臺的標配?
- 為什麼說六西格瑪是質量人的標配?
- 服務供應鏈金融 區塊鏈、大資料等已成銀行“標配”技術區塊鏈大資料
- volatile 關鍵字的工作機制
- 到底什麼樣的 REST 才是最佳 REST?REST
- 什麼才是AI公司的商業模式?AI模式
- 業務流程管理的關鍵點是什麼?
- 為什麼async/await關鍵字是如此重要AI
- 當我們在說賽季制地緣戰略遊戲時 我們的標準究竟是什麼遊戲
- 什麼才是好的關卡設計?使用空間度量法設計戰術性關卡
- 資料之巔,制勝未來:金融行業資料中臺五大關鍵成功要素(附下載)行業
- 如果你在經營一家網站,那你應該知道幾點因素是你制勝的關鍵網站
- 網際網路增量紅利的結束,積分運營成為企業存量制勝的關鍵!
- 什麼樣的教育 才是面向未來的