華為雲資料庫戰略啟示錄

華為雲官方部落格發表於2022-04-07

作者老魚

不知不覺,華為攜GaussDB正式產業化運作已經有兩年多了。這兩年,國內資料庫市場在多維度發生著巨大的變化,國際局勢、疫情、數字化轉型、信創等加速了全社會對國產資料庫的認知和接受程度,而GaussDB自身也變化極大。

  • 2019年5月15日,華為正式推出GaussDB資料庫,當時老魚有幸採訪到了GaussDB多位骨幹研發成員,並寫下了《華為“高斯”戰記》

  • 2020年5月初,華為GaussDB做了戰略升級,覆蓋關係型、非關係型資料庫以及生態工具類產品,聚焦客戶業務,打造全場景雲資料庫服務。

  • 2020年6月30日,華為正式將GaussDB單機主備能力開源到openGauss社群,鼓勵有能力的合作伙伴打造基於openGauss的自有品牌商業資料庫。

……

這些變化與調整的背後意味著什麼?顯然,是華為對資料庫的思考在變化,隨之而來的是發展策略也有所調整。GaussDB為什麼會併入華為雲?華為為什麼要開源openGauss?openGauss與GaussDB是怎樣的關係?GaussDB未來將如何發展?這些就成為外界關注的焦點。

華為雲資料庫首席架構師馮柯

在剛剛結束的DTCC2021大會上,老魚帶著很多問題及想法,圍繞資料庫產業趨勢及華為戰略,華為資料庫基礎研究方向,GaussDB商業實踐及生態建設,與華為雲資料庫首席架構師馮柯、華為雲資料庫副總經理丁晨進行了一場深入交流。

華為對資料庫的思考及戰略

現在談論資料庫不可迴避的需要討論的另一個話題,就是雲端計算。

雲端計算給今天的中國資料庫產業帶來的不僅是技術上的更新,更重要的是商業模式的重塑。在雲化大潮下,作為資訊系統核心軟體的資料庫發展出了雲資料庫的技術路線。

Gartner預測,雲將主導資料庫市場的未來,到2021年,雲資料庫在整個資料庫市場中的佔比將首次達到50%;到2022年,75%的資料庫將被部署或遷移至雲平臺。

馮柯表示,這幾年我們能夠越來越深刻地感受到整個行業在全面走向雲化,即使是一些傳統的政企企業,它的整個數字化也在不斷加速。這當中我們也看到了很多客戶,他們已經完成了從ON Cloud到IN Cloud的轉變,可以說如今業務是真正生於雲、長於雲。

中國雲端計算產業已經逐步進入下半場,馮柯指出,進入下半場一個很明顯的特徵是大中型金融政企的應用加速雲化,而這將主導雲資料庫市場高速增長。

華為預測,大中型金融政企客戶在雲資料庫方面的支出會佔到整個中國雲資料庫市場的3/4,其中OLTP型別資料庫市場空間為60%,OLAP為23%,NoSQL為17%。

馮柯強調,華為對於整個中國資料庫市場是堅定長期看好的,所以,會持續戰略投入去做。而基於對整個行業的趨勢的判斷,華為對資料庫進行了戰略聚焦,即把雲資料庫作為華為在資料庫方向上的主賽道,雖然馮柯並沒有直接回答,但老魚認為,這或許就是為什麼GaussDB會併入華為雲的主要原因。

華為資料庫發展戰略,用一句話總結即“發揮軟硬體全棧優勢,共建開放生態,打造GaussDB全場景雲服務”。

資料庫是一個非常有黏性的行業,因為資料是核心資產,牽一髮而動全身,直接影響客戶業務,所以一旦上去,基本就很難下來。資料庫行業發展的這40年來,以Oracle、SQL Server為首的主流資料庫佔據了大量的資料庫市場,但也帶來了很多問題。尤其是這兩年來和A國的科技戰,卡脖子問題,所以無論是國產化,還是行業,都需要開放的生態,不能從一個傳統封閉生態再走向另一個封閉生態。

而華為開源openGauss,其核心主要兩點,其一、華為在擁抱MySQL等開放生態的同時,也會以openGauss開源生態為主體,打造開放的資料庫生態。其二、支援客戶多樣化(非雲)的訴求。

未來投入資料庫六大技術方向

基於新需求、新場景、新技術,最終,華為選擇了六大資料庫領域基礎研究方向來構築競爭力,這是此次大會上,華為透露出的另外一個要點。也就是說,未來華為在資料庫上將在這六個方向重點投入,打造根技術的競爭力。

一、高可用
高可用是目前大多數金融政企客戶首要關注的問題,特別是對於多地、多中心容災有要求的客戶。馮柯表示,針對這樣的客戶,華為雲資料庫已經提供了多種解決方案,如支援同城雙活、異地容災、兩地三中心的解決方案,支援同城雙活強同步的解決方案,支援非同步資料複製、多地多活的高可用解決方案。

在這當中,華為兩地三中心的高可用解決方案已經在國有大行,從A類到D類全類業務進行了驗證,滿足金融監管的要求。基於雙叢集RPO=0的方案,華為也即將迎來正式投產。在所有的解決方案當中,華為既提供通過軟體機制本身來實現高可用解決方案,也提供基於華為企業級儲存,通過軟硬協同實現的高可用解決方案,以不同的解決方案來滿足不同行業、不同客戶對於高可用的需求。

面向未來,華為也在探討物理距離在一千公里以上,真正具備全球部署能力的多活架構。

二、軟硬深度協同
得益於華為從晶片、伺服器、儲存、網路、作業系統、資料庫全棧軟硬體能力,華為雲GaussDB可以實現軟硬體垂直整合,提升效能和高可用能力。

首先,資料庫的持久化邏輯,深度整合到了計算與儲存分離的技術底座中,基於這樣一個公共技術底座,華為雲資料庫全系列產品都可以獲得在容量、彈性、擴充套件性方面的巨大提升,同時能提供給客戶一致的體驗。

其次,據馮柯透露,華為這兩年的投入重點是把資料庫裡的各種計算邏輯,從計算節點解除安裝下來,下推到儲存當中去,特別是對一些複雜的查詢處理,同時疊加並行處理能力,使得這些計算邏輯能充分利用下面整個儲存池的能力,同時最關鍵的是能做到對業務透明。

第三,就是高效能,高效能的實現除了IO聚合之外,單條交易的本質就是網路的時延和處理的時延。所以,網路對於分散式資料庫的時延(效能)影響是巨大的。

總而言之,軟硬協同帶給我們的不僅僅是效能擴充套件方面的優勢,更是可以通過軟硬協同打造真正企業級的可靠性。

三、企業級混合負載
為什麼會將混合負載(HTAP)作為華為雲資料庫根技術方向之一,這樣選擇的背後有著怎樣的思考?馮柯表示,這是因為效能對今天的金融政企客戶來說,有兩層重要的現實含義:

第一層:效能提升能夠真正降低業務遷移的風險,過去一直在談怎樣降低業務遷移風險,談怎麼提高產品的相容性,怎麼保證資料遷移的質量,可是會有怎樣的風險比效能不足而導致業務必須在架構上做重大變更所帶來的風險更大呢?使用者增長已經非常確定的說明了這一點,這是第一層含義。

第二層:對分散式資料庫而言,在分散式資料庫上效能意味著什麼?意味著成本。在很多實踐中,華為發現一個規律和問題,就是當把客戶基於主機或者基於小機的業務下移到開放式的分散式系統中,很多時候客戶成本反而上升了,這是非常有意思的話題。

通過對這些問題反思,華為明白了一個道理,這個行業最終還是要回到對於資料庫本身能力的關注上。

四、雲原生多主
單一架構其實並不能解決今天行業所碰到的所有問題,這兩年,華為也在打造另外一款基於雲原生的多主架構,希望通過這種架構能夠解決兩個階段的問題,馮柯說。

第一個問題,是高可用的問題,華為希望能基於多主架構,能解決切換時業務中斷的問題。

第二個問題,是擴充套件性的問題,華為希望基於多主架構,融合軟硬協同的進展,真正能在計算節點以下,在巨大冰山水面以下的部分持續提升這個產品效能和彈性,最終,華為希望提供給行業客戶另一種選擇,一種不需要通過資料拆分也可以獲得透明擴充套件能力的選擇,從而更好的匹配另外一些行業客戶,特別是一些傳統的政企客戶的模型。

不久前,華為也釋出了基於多主架構的路線圖。據瞭解,華為計劃到今年年底或者明年年初,會正式將基於這種架構的第一代產品投入商用。

五、資料安全與可信
當今世界,每個組織,每個國家,每個人都在關注安全、合規和隱私的問題,幾年前資料無保護隨意使用的紅利是不可能了,這也促進了技術的進步和落地。

未來,全行業都會面臨越來越嚴格的對於可信安全方面的要求。

全密態是華為資料庫為了提升隱私保護能力研製的一項關鍵技術,全密態跟以前談論的脫敏加密不同,資料儲存和傳輸過程中是匿名性存在的脫敏加密,全密態支援資料在整個計算過程中同樣是以金鑰形式存在的,這就實現了讓整個敏感資料在全生命週期當中都得到保護。華為希望通過全密態的技術能夠給對於安全可信,有更高要求的應用場景更多選擇。

如果把雲資料庫看成是一種基礎專利,這種基礎專利供給方和需求方之間不需要事先建立可信關係,就可以達成服務契約,華為希望通過這樣的技術,通過在整個安全可信方面的投入來擴充今天的雲資料庫,整個雲基礎設施的業務邊界,這是華為想做的事情。

六、AI-Native(智慧運維與調優)
雲端計算所帶來的規模化挑戰,在運維側的複雜度和運營成本是今天所有云服務提供商面臨的共同挑戰。

另一方面,由於分散式資料庫自身架構決定,在開發側,運維側複雜度的增加,這種複雜度會反過來阻礙架構實踐在行業進一步的應用,而解法就一個智慧化。

華為在智慧化進展體現在2個主要運維場景,其一,引數自調優,通過深度學習/強化學習與全域性調優演算法,已經覆蓋了500+重點引數。相比DBA人工根據經驗調優,效能提升30%的同時,耗費時間從天縮短到分鐘級。

其二、智慧索引推薦,通過啟發式推薦演算法,實現了語句級和負載級智慧索引推薦,將效率從小時級提升到秒級,並在benchmark測試中實測效能提升了約40倍。

同時,GaussDB還在分佈列推薦、慢SQL發現與診斷、負載趨勢預測與異常檢測等領域,引入AI技術,大幅提升管理效率。

華為這兩年正在持續將AI技術融入資料庫核心中,實現資料庫自動優化與調優等功能。

華為雲資料庫競爭力

在馮柯看來,華為雲資料庫的競爭力有三個方面:

其一,研發投入,華為在資料庫研發投入上是世界領先的,佈局了全球7大研究所來構建資料庫研發能力,包括(愛爾蘭研究所、歐洲德國研究所、以色列研究所、俄羅斯研究所、印度研究所、中國深圳、北京、上海、西安研究所、加拿大多倫多研究所)。長期的戰略投入保證華為在資料庫專家人才方面儲備充足。根據瞭解,目前華為薈聚了全球1000+的資料庫專家人才。

其二、技術戰略佈局,華為在整個基礎軟硬體的基礎上,如晶片、儲存、網路、作業系統、資料庫有著完整的軟硬體佈局。這意味著華為可以通過軟硬的全棧系統,來打造全場景的雲服務。

其三、生態,資料庫生態是資料庫重要的一環,也是華為今天最大的優勢,馮柯說, GaussDB從一開始就注重生態和社群的構建。華為做生態是認真的且富有經驗的。馮柯強調,最關鍵的一點是,華為把生態當做業務來做,而且首先需要解決生態中怎樣實現商業利益共享,華為願意去跟夥伴分享市場機會。目前,已經有12家DBV基於openGauss社群版釋出了自己的品牌資料庫。

應對線下市場之爭

雲資料庫上半場,是線上市場(公有云)之爭,目前大局已定,雲資料庫之戰逐步進行到下半場,即線下市場(私有云、混合雲)之爭。

線下市場之爭,華為雲又將如何應對?馮柯強調,華為戰略聚焦雲資料庫,雲資料庫包括公有云服務,也包含專有云、混合雲服務。華為捨棄的只是線下純軟體(光碟)銷售和交付,而非雲部署方式。華為雲資料庫副總經理丁晨也強調,華為並沒有捨棄線下市場,而是通過華為雲Stack+GaussDB部署到客戶資料中心,為客戶提供與華為雲一致的服務體驗。

線下市場對於有著ToB基因的華為無疑是優勢領域,IDC2020《中國關係型資料庫軟體市場跟蹤報告》顯示,華為雲Stack在中國政務雲,金融雲市場長期保持市場份額第一。GaussDB資料庫在中國關係型資料庫本地部署市場中,國產第一。

面向金融政企市場,華為雲Stack+GaussDB,為客戶提供符合政策監管要求本地部署的雲服務。目前,華為雲GaussDB已經在助力國有大行核心交易與數倉系統分散式改造,並已經在4家國有大行和多家股份制銀行商用,並通過聯創攻克關鍵核心技術。

最後,丁晨強調,國產資料庫完全能滿足企業核心業務需求,只不過相對Oracle而言,國產資料庫還沒有那麼完美,這需要時間,現在最欠缺的是信心,而信心是需要時間來培養的。

相關文章