進擊的國產資料庫,能否挑起高階市場大梁?

qing_yun發表於2021-11-23

文/任朝陽

策劃/老魚

高階市場比如銀行、政企核心業務就是珠穆朗瑪峰一般的存在,一路進擊的國產資料庫,彷彿從北坡成功登頂珠峰,時間緊任務重,更為艱難。——題記

士別三日當刮目相待,對於國產資料庫商業化而言則是臥薪嚐膽20餘年,在這條道阻且長的進擊之路上不斷耕耘,終於迎來百花齊放的春天。據不完全統計,目前市場上有200多家國產資料庫。中國資料庫技術大會(DTCC)有幸作為一路以來的陪伴者和見證者,業已成為了解資料庫技術發展趨勢的重要視窗,明顯感受到近幾年中國資料庫市場越發繁榮,國產資料庫從業者的熱情和信心與日俱增。

近幾年可以看到國產資料庫不斷取得突破的訊息,比如星環TDH平臺成為全球首個通過TPC-DS基準測試的資料平臺,OceanBase打榜TPC-C取得第一,華為雲、騰訊雲、阿里雲躋身Gartner雲資料庫魔力象限,而阿里雲更是成為領導者,實現了20多年來從0到1的突破,國產資料庫已經向世界級資料庫發起衝擊。與此同時,在國內近兩年陸續傳來國產資料庫投產金融核心系統的訊息,這意味著國產資料庫已經挺進深水區的高階市場(高階市場指核心業務),對於廣大從業者亦是莫大的鼓舞。

ToB是一場長跑,資料庫更是長跑中的長跑。在國產資料庫不斷取得突破的同時,也看到有銀行和企業由於無法替換的原因繼續採購國外商業資料庫服務,這讓我們意識到目前國內政企、金融業的核心繫統依然是國外傳統資料庫的天下,雖不像之前那樣牢不可破,但替換之路依然任重道遠。

第十二屆中國資料庫技術大會(DTCC2021)現場

國產資料庫現在發展如何?國產資料庫能否挑起高階市場的大梁?在第十二屆中國資料庫技術大會(DTCC2021)召開之際,IT168& ITPUB對國產資料庫的發展進行了簡單梳理,並對相關問題與資料庫專家進行了探討。

進擊的國產資料庫百花齊放

縱觀資料庫技術發展歷史,上個世紀70年年代關係模型和SQL語言的出現成就了Oracle,90年代,以Oracle、DB2為代表的商業關係型資料庫在市場上大獲成功,成為主導者;2000年後隨著網際網路發展,在一些網際網路巨頭帶動下,開源資料庫飛速發展,與此同時大規模資料集和多重資料種類帶來的挑戰也使得NoSQL(泛指非關係型資料庫)應運而生;2010以後隨著移動網際網路、IoT、雲、大資料等新技術的發展,進入到結構化、半結構化、非結構化海量資料爆發的大資料時代,NewSQL、圖資料庫等更為多元的資料庫同臺競技。

國內對資料庫技術的研究並不算晚,20世紀70年代,以薩師煊為代表的老一輩科學家率先在國內開展資料庫技術的教學與研究工作,1977年11月在安徽省黃山召開了首屆資料庫技術研討會,不斷有人才加入為推動我國資料庫技術的發展打下了基礎。2000年左右國產資料庫正式商業化發展,傳統老四家相繼成立,從國外Oracle、DB2等資料庫巨頭的跟隨者開始,一步一步追趕。

達夢副總經理徐鋼介紹,2008年之前國產資料庫技術儲備比較薄弱,國產資料庫廠商只有個位數,沒有受到太多關注,也基本沒有市場機會。

“十年之前我們沒有這麼招人待見,在國內去拜訪客戶,基本認知上就是你跟Oracle不可比,完全不可用。”一位從事資料庫10多年的老兵告訴IT168&ITPUB,資料庫作為基礎軟體,發展緩慢。

隨著網際網路和移動網際網路的高速發展,資料海量爆發式增長,業務場景越來越複雜多元,傳統的單體架構面臨著資料處理瓶頸,大資料、雲端計算、AI、分散式等新技術不斷髮展。國家在政策上不斷重視支援,加上資本的推動,為國內資料庫市場帶來新的機遇,越來越多的國產資料庫如雨後春筍般出現。由於技術的突破也逐漸獲取了企業機構的信任,尤其是分散式資料庫換道超車離挑起高階市場大梁的目標越來越近。

國產資料庫在技術路線選擇上多點開花,有自主研發,有基於開源改造,也有基於開源在方案上通過中介軟體或者通過其他方式去改造整個資料庫的生態系統。經過20多年的發展,國產資料庫百花齊放。OLTP、OLAP、HTAP場景皆有佈局,雲原生、分散式、多模等新趨勢與國際幾乎同步探索,SQL(關係型)、NoSQL、NewSQL等悉數皆有。目前國產資料庫形成了傳統廠商、雲廠商、初創廠商、跨界廠商的競爭格局。

傳統廠商以達夢、人大金倉、南大通用、神舟通用老四家為代表,深耕行業多年,緊跟技術新趨勢,在分散式、雲等方面皆有佈局。

雲廠商以阿里雲、騰訊雲、華為雲、金山雲、青雲等為代表。其中阿里雲、騰訊雲、華為雲躋身Gartner雲資料庫魔力象限,有非常完善的資料庫產品棧。

初創廠商基本是以新技術、新硬體、新網路的發展為契機成立,或主打某一細分場景。分散式資料庫方向滿足TP、AP和HTAP場景,以PingCAP、OceanBase、巨杉、易鯨捷、浪潮云溪等為代表,其中PingCAP已經成為備受資本青睞的獨角獸。螞蟻集團2020年將OceanBase獨立進行公司化運作,開啟大規模商業化之路。浪潮集團單獨成立浪潮云溪資料庫公司表明浪潮做資料庫的決心;主打AP場景的雲原生資料庫OushuDB、搜尋查詢類錄信數軟等;星環科技資料技術方面有完善的產品棧,既有大資料平臺,在分散式雲資料庫、快閃記憶體資料庫、圖資料庫等方面皆有佈局;細分場景下圖資料庫歐若數網、創鄰科技,時序資料庫濤思資料……

跨界廠商如愛可生、雲和恩墨這樣的資料庫服務商,以及浪潮、中興這樣的傳統廠商等。浪潮的K-DB,中興的GoldenDB主打金融級分散式資料庫。

值得一提的是,細分場景下比如圖資料庫,國產資料庫基本和國外廠商處於同一起跑線上,根據 DB-Engines 官網顯示,2021 年 11 月的圖資料庫的流行度排名中,我國上榜4個資料庫產品,分別是歐若數網 Nebula Graph、華為雲 GraphBase 和百度智慧雲開源產品 HugeGraph、創鄰科技Galaxybase。國產圖資料庫甚至在某些方面還處於領先,最受歡迎的圖資料庫Neo4j的首席科學家Jim Webber告訴IT168&ITPUB,在新硬體的實現方面,中國有製造業和科研的優勢,中國圖資料庫軟體和硬體齊頭並進,共同改進技術,一些大廠硬體發展處於領先地位,將GPU、FPGA直接包含在主機板或者記憶體上。

近幾年國產分散式資料庫在技術上取得了突破,成為國產化替代的主力軍。美創科技資料庫專家呂海波在參加DTCC2021中國資料庫技術大會後的回顧文章中寫道:

幾年前DTCC大會,很多人在講CAP、NoSQL與一致性、BASE(最終一致性)等話題,甚至有嘉賓主題就是“CAP原理”。分散式、一致性等相關技術細節,是前些年的熱點。怎樣才算分散式、如何實現才能在效能和一致性間兼顧。

很明顯,這兩年DTCC,已經沒有嘉賓專門講分散式、一致性與CAP/BASE等話題了,就算有,也是在PPT中簡單提一下。

這說明分散式與分散式事務、一致性等這些東西在技術界已經達成共識,想要資料的多副本一致性,Raft/paxos協議已經幾乎是標準。而想要分散式事務強一致性,2PC/3PC也基本上是標準。CAP、BASE、Raft/Paxos、2PC/3PC等等技術思想,在這幾年也已經紛紛落地為產品。

近兩年,也看到一些傳統政企機構核心系統投產國產資料庫的訊息:

2019年9月,基於分散式資料庫騰訊雲TDSQL打造的張家港農商銀行新一代核心業務系統成功上線投產;

2020年4月,基於易鯨捷新一代國產融合型分散式資料庫搭建的貴陽銀行核心交易“沙箱”系統聯機實時執行,成功實現核心交易“沙箱”系統與貴陽銀行現有核心繫統並行處理;

2020年7月,中興通訊和中信銀行聯合宣佈,GoldenDB分散式資料庫順利完成在中信銀行核心系統“凌雲”系統的投產;

2020年9月,中國工商銀行開始採用螞蟻自研資料庫OceanBase,其對公(法人)理財系統已完成從大型主機到OceanBase分散式架構的改造;

2021年4月,基於openGauss打造的郵儲銀行新核心系統成功投產;

2021年8月,友邦人壽宣佈加速重要業務系統上雲程式,包括保險出單、保單契約等在內的數十套業務系統開始採用阿里雲PolarDB雲原生資料庫……

高階市場比如銀行、政企核心業務就是珠穆朗瑪峰一般的存在,一路進擊的國產資料庫,彷彿從北坡成功登頂珠峰,時間緊任務重,更為艱難。核心業務具有極高的壁壘,市場空間巨大,是當下國產資料庫的主攻賽道,某種程度上來講,能否拿下高階市場決定了未來的成敗。國產資料庫投產銀行核心系統的訊息出現,這無疑提振了從業者信心。

有不少從業者指出去O之路未來5年可見分曉,也有人並沒有給出明確的時間,那麼國產資料庫能否挑起高階市場的大梁?

能否挑起高階市場大梁?

金融業對資料庫的要求最為嚴苛,銀行業金融場景業務一般會分為關鍵核心業務、一般業務、郵件辦公和金融機具四大類業務,金融業尤其是銀行事關國計民生,對於核心業務的替換更是慎之又慎。在國產化方面會採用從邊緣到核心逐步替換的策略,核心業務系統的替換也會先採用雙庫並行的穩妥方法。

總體來看,大多數專家對國產資料庫挑起高階市場大梁持樂觀態度,他們認為現在國產資料庫已經擁有了挑起高階市場大梁的技術儲備,但是與使用者建立信任還需要更多時間,目前雙庫並行的狀態只是一個過渡階段,這並非國產資料庫獨有,曾經Oracle替換DB2時也經歷了雙庫並行這樣一個過程。

達夢 作為老四家一路走來有很深的體會,徐鋼認為,國產化替代不是簡單的民族情結,而是要尊重客觀事實。

首先,從時間維度來看,還不到100%替代的時候。按照達夢以往經驗,進入一個行業過去需要3-5年,在國產化浪潮推動下,週期會縮短,但仍需要至少一年時間。

其次,技術迭代是一個相互認可的過程。IT整合商會以最高標準來衡量國產資料庫品牌和技術能力,在實際應用場景中,所有資料庫產品的地位均是平等的,不會因為你是“國產品牌”,就會在硬性指標上降低難度。

其三,使用者生態的認可,需要積累。使用者觀念的轉變,非一朝一夕。其四,客戶自身的應用模式,從客觀上增加了國產資料庫品牌的認知週期。對於中國DBA、資料及應用架構師來說,他們只相信“眼見為實”,只有親身經歷過這個工程專案,經過實際技術驗證,才會得出結論,認為哪些能用,在什麼地方能用,到底能力如何。所以,資料庫應用實踐本身決定,國產化替代不能一蹴而就。

OceanBase CTO 楊傳輝 指出,國產資料庫具備服務高階企業的能力,但是真正要替換下來可能需要一段時間,有的快,有的慢。這裡有個比較大的風險點,在於國產資料庫要具備這樣的能力,一定是有很強的對核心的掌控能力,不是說200多家國產資料庫都有能力,真正做核心也就五個以內。

華為雲資料庫技術專家竇德明 更為謹慎一些,他認為當前,國產資料庫百花齊放。但還沒有真正把包括金融、政企的核心業務替下來。現有國產資料庫在穩定性和效能方面,跟Oracle還是有很大的差距。如果未來要挑起這個大梁,我們必須經過大規模的客戶層驗證,真正到客戶實際業務當中去打磨我們的產品,實驗室裡邊出現的產品永遠沒辦法做到規模。

浪潮云溪資料庫研發副總經理陳磊 比較有信心,他覺得國產資料庫現在應該能夠挑起國內高階市場的大梁,只是這些高階的應用對國產資料庫廠商需要有一個驗證、建立信任的過程,應用也需要改造,這個過程可能比較長或成本比較高。可能用不了五年,就能夠有些成功的案例。當然,國產資料庫在滿足非功能需求方面還有差距,如可靠性,可以通過應用和基礎計算資源去彌補,核心業務應用支撐不僅僅是資料庫的事情。

易鯨捷解決方案中心金融行業售前總監隋景鵬 認為,目前國產資料庫已經具備挑起高階市場大梁的能力,但是具備能力和實現廣泛支撐是兩個階段的事情。國產資料庫從2000年左右開始正式商業化發展,前面十幾年走得都很艱辛,幾乎很難在高階場景取得突破,最近幾年在技術上取得大的進步,尤其是分散式資料庫的出現帶動了整個產業側在核心業務裡面突破,像易鯨捷QianBase在一些複雜業務場景裡提供了支撐,尤其是銀行的核心交易系統全棧解決方案能達到3萬TPS以上的效能。在貴陽農商行都上線了統一交付、核心交易。國產資料庫已經達到了至少可用的階段是沒有爭議的。

所有國產軟體雖然技術上都是驗證可行的,但是缺乏長時間生產環境的穩定執行驗證,國產資料庫最近三年才在核心領域進行攻堅,所以說它缺乏一定穩定性驗證基礎,短期內金融使用者在核心繫統會兩條線走,既有國產新技術,同時要採用穩定的技術來支撐作為保底。這樣的方式並不說明國產技術不行,必須要有一個驗證過程,這無法逃避。

偶數科技 是這次採訪中為數不多的做AP場景對標Snowflake的廠商,其首席架構師陶徵霖指出,要分為AP和TP兩個場景來看,在AP場景目前國產資料庫可以挑起高階市場大梁,比如OushuDB已經在一些銀行支撐了其所有的分析型業務。TP場景下國產資料庫距離能夠挑起高階市場大梁還有一段路要走。國產資料庫的挑戰歸根到底在於時間的檢驗,畢竟國產資料庫發展的時間太短,對於一個資料庫產品可能做個十年左右還只是在青春期,要想真正的非常成熟、穩定,還需要更長時間去沉澱、打磨,國外的Oracle、DB2都做了幾十年,客戶各種場景的檢驗非常必要。

南京錄信CTO母延年 也認為要分情況看,如果高階市場指的是採購預算高,需求多,對於效能和穩定性要求高的話,目前國產資料庫還是能夠勝任。如果“高階市場”是指一些接觸資訊化較早,普遍採購國外廠商產品的大型政企單位,國產資料庫距離挑起大梁還存在一個教育市場的過程。資料庫是底層重器,對於資料庫的選擇和遷移肯定是慎之又慎。

對於大型政企單位來說,資料庫的穩定性壓倒一切,在還沒有完全驗證全盤遷移的可行性之前,逐步從邊緣業務開始試點是一個既穩妥,又具備前瞻性的提案。這與國產資料庫是否能挑得起這個擔子沒有任何關係。就像我們幫客戶升級系統一樣,也會先進行小叢集的部署,同時還需要建立完善的回滾機制,以防發生任何的問題。“羅馬不是一天建成的”,這其中除了對於穩定性的顧慮之外,客戶對於我們的信任也是逐步建立和加深的,還是那句話,茲事體大,徐徐圖之。

一位深耕金融業10幾年的業內資深人士表達了更為樂觀的態度,他指出現在銀行做的多說的少,目前銀行核心系統國產化替換處在大量的測試和預演階段,明年下半年開始,有可能會看到國產資料庫在國內代表性銀行的關鍵核心系統大面積上線。

資料庫是承載業務系統的基座,基礎不牢地動山搖,如何謹慎都不為過。核心系統甚至攸關生死,好比我們坐車,肯定更願意坐老司機開的車,一個人考下駕本也算學會開車,有了開車的能力,但實際上路不行,遇上覆雜路況和突發情況無法應對,恐釀成慘禍,一定會從簡單路況開始練習,積累經驗和能力,直到有一天在重慶開車都能溜到飛起,遇上風雪雷電和大霧都能玩轉,開車的本領才算到家,這需要一個過程。國產資料庫挑起高階市場大梁也要經歷這樣必不可少的成長過程。

資料庫生態之戰已打響

騰訊雲副總裁李綱指出,所謂“資料庫國產化”,並不代表使用者要降低質量和要求,在關鍵業務及核心應用場景支撐能力上,國產資料庫的服務水平和傳統商業版資料庫,是同等級別。換言之,國產資料庫沒有“國民化”待遇,必須具備成熟資料庫產品所具備的能力,當然,既然是國產化,國產資料庫廠商肯定會迎來紅利期,將從產品、服務開始形成一個新的生態,向國產化靠攏。

對於資料庫發展而言,長遠發展在於生態。而當下,在挺進高階市場的路上,國產資料庫生態之戰已經打響。合縱連橫產業上下游,解決相容適配問題。

李綱介紹,未來兩到三年,騰訊雲資料庫的發展方向將用九個字概括,即“插紅旗”、“立標準”、“建生態”。

王偉民指出,各個廠商做生態的方式並不一樣。有些友商雖然在做資料庫,但並不是要把資料庫作為一個獨立產業來做,他們通過打造一個第二平面去解決“卡脖子”問題,這也非常了不起。阿里雲資料庫做生態更多是希望以“被整合”的方式來做。“生態要開放繁榮,最主要的就是要能夠和夥伴實現利益分享,如果做不到這一點,我覺得生態是做不起來的。”

易鯨捷是立體式集團軍作戰,為企業機構提供端到端解決方案。貴陽銀行的4.27億訂單是一個大的總包,包括作業系統、中介軟體、資料庫、伺服器、網路、安全以及整合商等,易鯨捷希望通過該專案打造全棧國產生態以及針對銀行核心交易系統的解決方案。

為了打磨產品以及加速生態構建,今年OceanBase、PolarDB、浪潮云溪都採用了開源策略……

這是技術創業者最好的時代,也是國產資料庫最好的時代。數字經濟已經成為新時代經濟發展的重要引擎,資料技術是數字經濟發展的核心IT支撐,而作為資料技術底座的資料庫其重要性不言而喻。

根據中國信通院《資料庫發展研究報告》(2021),預計到 2025 年,全球資料庫市場規模將達到 798 億美元。隨著國家對基礎軟體越來越重視,信創和國產化浪潮下,國產資料庫迎來歷史機遇。根據信通院報告,2025年中國資料庫市場總規模將達到 688 億元,市場年複合增長率(CAGR)高達23.4%。據安信證券對資料庫國產化市場進行測算,國內資料庫市場規模約為300-400億元/年,國產化資料庫替換市場總體規模約為3000億元。

正如母延年所說: 國產資料庫的機遇和挑戰在我看來是並行不悖的,“信創”和“國產基礎軟體”的背景給了國產資料庫百花齊放的機遇,也暗含贏家通吃的風險,歸根結底還是看如何定位。大有大的優勢,小有小的活法,如何在細分市場中博得一隅之地,是像我們一樣的中小廠商最需要考慮的問題。至於歷史機遇,我認為我們還是比較佛系的,雷軍說“在風口上豬都能飛”,巴菲特說“退潮了才知道誰在裸泳”,這應該聽誰的呢?所以我們內部一直都是不去和別人比,也不和別的產品比,我們只和自己比,只要此日能勝過昨日,今夕能好於昨夕,這就夠了。有一句話叫‘日拱一卒,功不唐捐’,我們就是這種心態。

“日拱一卒,功不唐捐”,正是國產資料庫一路走來的寫照,“高築牆,廣積糧,緩稱王”現在也依然適用。希望無論大小廠商都找到自己的位置,一起探索努力,推動國產資料庫繁榮發展。期待明年的中國資料庫技術大會DTCC2022再相聚!

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69925873/viewspace-2843570/,如需轉載,請註明出處,否則將追究法律責任。

相關文章