深度 | 阿里雲李飛飛:中國資料庫的時與勢

阿里巴巴資料庫技術發表於2022-01-04

深度 | 阿里雲李飛飛:中國資料庫的時與勢




深度 | 阿里雲李飛飛:中國資料庫的時與勢


作者簡介:

李飛飛,阿里巴巴集團副總裁、阿里雲資料庫產品事業部負責人、達摩院首席資料庫科學家,IEEE Fellow、ACM傑出科學家




資料庫、作業系統和中介軟體並列為三大基礎軟體,無論是在銀行存取款,還是進行健康碼查詢,我們的日常應用和企業業務背後都離不開資料庫。可以說,沒有資料庫,就難以構建數字化底座。
 
在國際權威機構Gartner公佈的2021年全球雲資料庫魔力象限評估結果中,作為中國科技公司代表,阿里雲蟬聯了“領導者”(LEADERS)象限,意味著阿里雲資料庫綜合實力已穩居全球第一陣營。
 
這既是對阿里雲資料庫實力的肯定,同時也證明了阿里雲圍繞雲原生資料庫新賽道進行前瞻佈局和自研創新的戰略是正確的。

今年入選Gartner全球雲資料庫魔力象限的企業共有20家,中國2家,佔比10%。這與中國巨大的市場空間和產業應用前景並不相稱。在我看來,未來一定會有更多中國廠商出現在這份榜單上,並且不斷向著“領導者”象限邁進。

之所以有這樣的判斷,是因為雲端計算的出現,讓全球資料庫市場格局迎來了40年以來的最大拐點。而這一次,時與勢站在中國廠商一邊。

深度 | 阿里雲李飛飛:中國資料庫的時與勢

資料庫的40年大變局


過去的40多年,資料庫技術一直在創新與迭代,經歷了不亞於行動通訊技術從1G到5G的巨大跨越。

上世紀80年代初,資料庫系統逐步走進資訊科技舞臺的中央。2000年前後,大資料技術興起;再到2010年後,雲端計算熱度持續升溫,雲原生、分散式等技術不斷髮展。展望未來,資料庫技術會因為雲端計算實現技術上的極大躍遷。

隨著企業業務全面向數字化、線上化、智慧化演進,企業面臨指數級遞增的海量儲存產生的需求和挑戰,包括並不限於諸如業務熱點和突發流量帶來的挑戰。企業不僅需要降本增效,還需要進行資料分析、資料洞察,從而產生可指導行動的智慧決策,傳統的商業資料庫已經難以滿足和響應快速增長的業務訴求。
 
第一,系統面臨持續擴容的挑戰。傳統資料庫是在馮·諾依曼架構下發展而來,其核心特徵是計算、儲存等資源的緊耦合。當業務需要的資源超過底層系統所能提供的容量後,需要對現有系統進行靈活彈性的擴容。
 
第二,系統始終會存在當機的風險。如果支撐核心線上業務的資料庫出了問題,將導致業務系統無法正常執行。資料庫需要高可用,確保無論底層資源發生任何問題,資料庫都可以實現不同伺服器、不同虛擬機器、甚至是不同可用區和地域之間的切換,保證上層業務系統對底層硬體資源的錯誤或者風險的無感知容錯。
 
面對這兩個核心挑戰,雲原生資料庫利用虛擬化技術將計算、儲存等資源進行池化,將儲存計算分離。打個比方,以前建立獨立的資料庫,好比每家每戶各打一口水井。如今的雲原生資料庫,則是把這些水井底部的水資源連線起來,表面上還是一口口獨立的水井,但是水井的底部已經連在一起,形成了一個隱形的池塘,能實現隨時按需用水。
 
在雲原生資料庫系統中,我們還可以通過AI和機器學習技術實現智慧自動化的運維過程,快速調動資源,匹配業務需求,需要多少資源就擴充套件多少資源。就像自來水系統,使用者可對水量進行實時靈活的控制。
 
概而言之,從傳統資料庫到雲原生資料庫,最大的技術變革是資源池化與資源解耦,以及由此而帶來的彈性、高可用、容器化部署、智慧化運維等核心能力。
 
雙11是全球最大的超級數字工程之一,是阿里巴巴技術的練兵場。2020年雙11零點的訂單峰值58萬筆/秒,這種瞬間爆發的場景,如果不是利用雲原生的技術,僅依賴傳統技術根本無法滿足這種高併發、彈性、高可用的要求。

2021年是數字化轉型的普及年,千行百業的業務加速上雲程式。即使是單一客戶,也擁有多樣化的複雜業務以及豐富的業務負載特性,單一產品和架構已很難滿足客戶需要。阿里雲資料庫全面擁抱雲原生,首次從客戶場景視角,提出了“一站式全鏈路資料管理與服務”的理念,希望通過觸手可及、簡單易用、安全可靠的雲資料庫,讓資料無縫的自由流動,滿足企業多樣化的業務訴求。

深度 | 阿里雲李飛飛:中國資料庫的時與勢

阿里雲所打造的雲原生資料庫2.0 —— 一站式全鏈路資料管理與服務,將雲端計算領域非常重要的雲原生技術和分散式技術合二為一:上層是分散式,下層以雲原生的方式實現,每個分割槽都可以享受雲原生帶來彈性、高可用的能力,同時上面有分散式帶來的水平擴充的能力,解決高併發可能帶來的瓶頸問題。在這個基礎上,打造面向不同應用場景和需求的專屬資料庫和資料倉儲系統,做到專庫專用;同時,利用HTAP、在離線一體化、庫倉一體、多模資料處理等核心技術,實現資料處理與分析的融合,以及資料在不同應用場景和系統之間的自由流轉。最後,通過線上資料管理平臺實現一站式全鏈路資料管理與服務。
 
展望未來,雲原生與分散式一體化、在離線一體化、HTAP混合負載查詢與處理、物聯網及多模資料融合處理與分析、安全可信與隱私保護、智慧化運維與調優、機器學習和AI負載以及智慧化運算元與應用支援、新型硬體的適配和優化將成為雲原生資料庫重點發力和突破的技術方向。

中國資料庫廠商的時與勢


資料庫作為應用型技術,先發優勢和生態建設非常重要,如果沒有技術上的突破性創新,後來者想要超越,可能性很小。在雲時代的滾滾洪流之下,雲端計算已成為資料庫發展的新賽道,中國資料庫企業迎來了絕佳的變革機遇期。

據Gartner預測,到2022年,雲資料庫管理系統(DBMS)的收入將佔DBMS市場總收入的50%,比2020年預測的提前了一年。資料庫繼續向雲邁進,全球資料庫產業結構正在加速重構。

雲端計算作為一種全新的科技服務,對資料庫的研發、使用等方面帶來了徹底的變革,也讓全球廠商在資料庫賽道上站在了同一起跑線上。中國有著眾多的數字使用者和獨特的業務場景。沒有成功應對雙11流量洪峰、“健康碼”等場景的資料庫廠商,很難知道如何解決海量資料、超高併發交易洪峰等實際業務問題。放眼全球,中國廠商獨享這樣的機會。這一次,中國廠商乘“雲”而上,擁有了比肩國外資料庫的技術和創新能力。
 
以阿里雲自研雲原生資料庫PolarDB為例,2017年才啟動自主研發,但到今天很多功能,如記憶體、計算與儲存三層解耦架構實現秒級彈性、多主多寫、基於記憶體池化的列存索引支援HTAP等已經是全球首創或業內領先的技術,創新步伐已經領先國外同行。

數字經濟的蓬勃發展,必然推動中國資料庫市場的快速增長。中國資訊通訊研究院今年6月釋出的《資料庫發展研究報告(2021年)》指出,我國數據庫產業進入重大發展機遇期,預計到2025年,中國資料庫市場總規模將達到688億元,市場年複合增長率(CAGR)為23.4%,全球佔比達到12.3%左右。
 
中國的資料庫企業能夠挺進並蟬聯Gartner魔力象限的領導者地位,是幾代人不懈努力的成果。資料庫行業取得今天的成績,與國家對基礎軟體產品的扶持,政策的引導和加持是分不開的。如果說,過去中國資料庫技術打不開市場,有很多客觀原因,但是今天中國乃至海外的企業,已經開始大規模接受中國資料庫技術,並且金融、政務等核心應用開始嘗試用雲資料庫大規模替代傳統資料庫。隨著科技自立自強重大戰略的實施,這種全面替代會是一個確定性的趨勢,越來越多的企業將使用中國資料庫技術。
 
今天,中國提供資料庫產品的廠商已超過80家,其中一些企業已經成為新銳的獨角獸廠商。雖然國內資料庫企業單一廠商的人員規模還不足以與全球巨頭企業抗衡,但是產業人才已經具備了一定的規模並形成了梯隊。這為中國資料庫產業的穩步發展打下了堅實的人才基礎。
 
此外,通過產學研的攜手創新,在資料庫領域VLDB、SIGMOD和ICDE三大頂級會議的論文中,中國廠商的論文數量也呈現了逐年上升趨勢且部分論文提出的資料庫技術創新甚至獲得全球同行的認可,這也是中國資料庫企業乘勢而起的標誌之一。
 
 “因天之時,就地之勢,依人之利,則所向者無敵,所擊者萬全矣。”在產業大變革時代,深刻認識和正確把握我們所面臨的時與勢,有利於中國資料庫廠商看清方向,找到快速成長的路徑。我相信,時與勢也必定轉化為中國資料庫產業快速發展的動力,讓我們在這樣關鍵的資訊科技領域擁有應有的一席之地。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69940574/viewspace-2850488/,如需轉載,請註明出處,否則將追究法律責任。

相關文章