分久必合？資料庫進入“超”融合時代 | 愛分析調研

上世紀60年代，網狀和層狀資料庫揭開了資料庫系統發展的帷幕；1970年，來自IBM實驗室的Edgar F. Codd發表了《大型共享資料庫資料的關係模型》論文，提出基於集合論和謂詞邏輯的關係模型，為關係型資料庫技術奠定了理論基礎。之後關係型資料庫快速發展，併為整個資料庫生態培育了堅實肥沃的發展土壤。

1993年，Codd進一步提出聯機分析處理（OLAP）的概念，分析型資料庫的概念也由此正式誕生，關係型資料庫逐漸分化成為事務型、分析型兩大類。

進入21世紀，網際網路蓬勃發展，資料量爆炸式增長、資料型別也極大豐富。關係型資料庫逐步遇到發展瓶頸，如容量有限、在高併發下讀寫效能低、不適合海量半結構和非結構化資料，等等。因此，一線網際網路公司開始破舊立新。谷歌在2003至2004年公佈了關於GFS、MapReduce和BigTable的三篇技術論文，極具里程碑意義。其中GFS和MapReduce奠定了分散式資料系統的基礎，Hadoop由此應運而生，並快速發展成熟。以Hadoop為基石的大資料生態圈，主導了二十一世紀第一個十年的技術潮流。

而谷歌BigTable與亞馬遜的DynamoDB的推出，開啟了大資料技術的另一個重要分支NoSQL，並出現了針對不同資料型別的NoSQL資料庫，如鍵值資料庫、文件資料庫、圖資料庫、時序資料庫等。這些專用資料庫很好地解決了針對特定資料型別和應用場景的資料儲存和處理問題，迎來了快速發展。

至此，資料庫行業進入百家爭鳴的時代。

數字化轉型時代，資料庫開啟融合新篇章

• 多模資料融通： 超融合資料庫首先會支援多種資料型別，包括：關係型資料、時序資料、GIS資料、JSON資料、圖資料、文字資料等主要資料型別，並且在一套資料庫內對多模資料的統一管理、查詢與跨模態互通，實現資料在庫內的歸集、融通與整合分析。

• 基於SQL的全場景查詢分析： SQL語言作為最為經典的資料查詢語言，其易用性和普及度有目共睹。歷史上也有過放棄SQL的技術路線，但最終又都紛紛迴歸。歷史證明，SQL是資料分析與查詢的全球共識語言，也是保障平民化與普適性的基石。基於SQL，超融合資料庫應該儘可能多的支援各類場景下的查詢分析能力，如針對時序資料的視窗查詢及聚合查詢等，多表間的Join查詢等，甚至需要支援AI機器模型的訓練。

• 高效能與易用性： 效能保障是一切功能特性的先決條件。超融合資料庫需要提供足夠的效能和可靠性保障，以應對超大規模容量、超高壓力寫入、各類資料接入場景、實時近實時分析查詢的帶來的業務挑戰。同時，能夠提供統一的監控、告警、自動化運維及視覺化UI，大幅度減輕日常部署運維的作業強度。

代表廠商YMatrix的超融合資料庫實踐

用一個強大的“超融合資料庫”一站式解決多種問題，是一種理想狀態。一個普遍的質疑是：一款資料庫如何既做到對多種資料型別和應用場景的融合，又做到媲美專用資料庫的優秀效能？只有在真實業務場景下的落地實踐，才能證明其可行性。

在超融合資料庫的實踐方面，YMatrix無疑是目前市場上最具代表性的一家廠商。為了探討超融合資料庫的發展趨勢和實踐進展，近期， 愛分析對YMatrix進行了調研，並對YMatrix創始人&CEO姚延棟先生進行了訪談。

YMatrix成立於2020年8月，至今已經獲得總規模超億元的四輪融資，投資方包括晨山資本、順義產業基金、某頭部雲廠商、東方富海、中科創星、清華啟迪等。YMatrix的團隊在資料庫核心引擎開發方面擁有深厚的積累，創始人&CEO姚延棟曾擔任Greenplum北京研發中心總經理，歷經10年從0到1組建Greenplum中國研發團隊，並帶領團隊將Greenplum打造為世界前列的資料庫。

基於對資料庫融合的技術趨勢，以及物聯網時代時序資料爆發的堅定判斷，YMatrix在成立伊始就錨定了超融合資料庫方向，並選擇先從時序資料庫切入。

2021年7月，YMatrix釋出了超融合時序資料庫MatrixDB4.0。經過持續打磨，YMatrix於今年10月26日正式釋出了升級版的超融合資料庫YMatrix5.0，該版本的迭代重心在“超融合”層面，並實現了一系列效能和易用性的最佳化。其內建高效能微核心資料引擎，實現了對關係型資料、時序資料、JSON資料、鍵值資料、GIS資料、文字資料的廣泛支援，並在資料操作層面支援以標準SQL實現跨資料模型的寫入、建模、聯合查詢以及機器學習等。

為了解決上述問題，該企業基於YMatrix替換原有叢集搭建了製造大資料平臺，承載傳統業務的關係型資料，最佳化了效能，並承載時序資料，補全了時序場景分析能力；基於YMatrix搭建了分支工廠的獨立數倉平臺，構建總部（雲）和工廠（邊）協同架構，有效降低了集團叢集的負載；此外，以YMatrix架構替代了Spark及MySQL叢集，承載售後大資料分析系統，大幅簡化了系統架構，提升了效能。藉助YMatrix的架構升級，該企業獲得了以下收益：

• 整體上提升了效能，為應對業務量大規模擴張奠定基礎。

• 基於YMatrix超融合資料庫對多模資料綜合分析需求的支援，能夠服務該企業未來5-10年的潛在需求，避免不必要的架構調整和投資浪費。

• 資料管理成本獲得有效控制，叢集規模節省超30%，且節約了對新產品、新架構的學習成本。

• 基於YMatrix提供的大量圖形化及自動化的運維能力，以及系統架構的精簡，大幅提升了使用體驗，降低了運維複雜度。

透過YMatrix的實踐可以看到，超融合資料庫正在從一種概念設想轉變為真正的落地應用。隨著技術的持續迭代，以及應用場景的擴充套件和滲透，未來，超融合資料有望在資料庫市場中佔據越來越大的份額，成為企業資料基礎架構的重要選擇。

以下是本次愛分析對姚延棟先生訪談內容的精選。

愛分析：您如何理解超融合資料庫？為什麼選擇這個方向創業？

姚延棟： 我們觀察到，最近這10年資料庫領域出現了明顯的融合趨勢，如NewSQL、HTAP、Lakehouse等，都是某種融合的體現，這是一個融合的時代。

那麼，未來資料庫的融合趨勢會如何演進？我判斷未來是一個超融合的趨勢，並在2020年就提出了“超融合”這個概念，這裡的超融合是指實現“OLTP+OLAP+大資料”三者的融合。

為什麼我覺得超融合一定是資料庫的未來？以手機為例，在智慧手機出現前，功能手機只能接聽電話，拍照、聽音樂則需要用照相機、MP3。隨著智慧手機的出現，這些單一功能在智慧手機這個平臺上實現了融合。這個例子背後反映的是技術從簡單到複雜，再到升維後簡化的客觀發展規律，資料庫技術的發展也必然符合這樣的規律。

從客戶需求的角度，也能進一步驗證超融合這個趨勢。實際上，客戶需求也是我們創業的出發點。具體來講，做資料庫是一件長期的事情，單產品研發就可能耗費3-5年的時間，所以我們創業需要首先判斷未來時代發展的大機會在哪裡。

顯然，未來的時代是物聯網+數智化轉型的時代，而這個時代的使用者主體是廣泛的傳統企業。當前傳統企業資料庫體系複雜，建設和維護需要大量的人力、時間和資金成本，相較之下，購買能夠直接解決大部分場景需求的超融合資料庫產品，價效比更高。我們預見，未來企業對超融合資料庫產品有強需求，而超融合資料庫也將以更具競爭力的成本優勢、更快的速度和更好的創新方式賦能各行各業。

愛分析：YMatrix創立之初，為什麼選擇以時序資料庫作為超融合資料庫的切入點？

姚延棟： 上面提到，我們的第一個判斷是未來將會是萬物互聯和企業數智化轉型的時代。在這個時代，最大的新變數就是時序資料，並且時序資料將快速增長成為主體資料。那麼從產品端，我們該如何支援時序資料？

對此，我們做了第二個判斷：時序的主要場景是分析，分析的主體資料是時序，針對時序資料的分析功能一定要做。這就是為什麼我們沒有做諸如InfluxDB這類效能顯著，但不具分析功能的時序資料庫產品，最終選擇面向分析場景的Greenplum的分散式架構，並採用關係型資料庫PostgreSQL作為核心引擎研發超融合時序資料庫。當然，還有一個額外的顯而易見的優勢，就是我們的創始團隊具有10年以上Greenplum研發經驗。

愛分析：YMatrix的資料庫產品目前實現了怎樣的“超融合”？從技術上是如何實現的？

姚延棟： YMatrix採用了一種創新的技術架構，我們稱為“多微核心開放架構”。就像CPU有多個核一樣，現在資料庫也可以是“多核”的。每個核心由不同的儲存引擎和執行器組成，而這些都是針對場景最佳化過的。比如我們專門針對時序場景的微核心，其中包括自研的MARS2時序儲存引擎，以及經過向量化最佳化的執行器。目前我們提供三種微核心，分別面向TP、AP及時序場景，裡面有很多專項的最佳化，也有一些複用的部分。基於這種架構可以讓我們非常方便的進行場景擴充套件，比如未來針對某類新興資料型別，我們只需要是針對新的場景研發一款新的微核心，而不是從頭到尾再重新研發一整套資料庫，效率將大幅提升。

愛分析：與專用資料庫相比，超融合資料庫為了做到功能上的融合，是否會犧牲效能上的表現？

姚延棟： 不會，效能也是我們產品一直在打磨的方向。本次釋出的5.0版對效能進行了全面最佳化，實現時序場景的寫入及查詢、單表查詢、多表關聯分析、機器學習以及OLTP等全場景處理效能的跨越式提升。

每個場景我們都有真實的測試資料作為證明：

在時序場景的寫入能力上，YMatrix5.0在真實的生產場景中寫入速度可達1.52億資料點/秒。而通常一個工廠的資料點大概在10萬點以內，1.52億是工廠場景規模的1500倍；

在時序場景的查詢效能上，對比時序資料庫獨角獸TimescaledDB耗時是YMatrix的5.1倍；

在單表查詢效能上，SSB基準測試結果表明YMatrix超融合資料庫比ClickHouse快27%；

在多表關聯分析效能上，對比MPP資料庫主流廠商Greenplum，YMatrix實現了數倍的效能提升；

在機器學習場景效能上，YMatrix庫內機器學習效能相比Spark提升了8倍；

在OLTP場景下，TPC-B國際標準測試結果表明，YMatrix超融合資料庫主鍵查詢TPS高達160萬，而絕大多數低於TPS5萬的水準。

愛分析：目前YMatrix的商業化應用場景有哪些？服務了哪些客戶？

姚延棟： YMatrix超融合資料庫的應用廣泛，尤其適用OLAP和時序資料處理的場景，如車聯網、智慧製造、智慧能源、智慧交通、智慧城市等領域，可應用於工廠資料基座、智慧網聯汽車、物聯裝置智慧運營、實時資料倉儲等場景。目前YMatrix已經服務了寧德時代、比亞迪、三一重工、理想汽車、小米等多家大型企業。

另外，YMatrix還非常適合有“選擇困難症”的客戶。客戶經常由於業務變化出現資料庫新需求，比如時序資料庫、分析型資料庫或是湖倉一體等。YMatrix支援時序場景、分析型場景，能根據客戶需求靈活應用。而且未來如果客戶資料體量迅速擴增到更高階別比如10PB，而客戶基於成本考慮不想再購買新資料庫時，就可以使用YMatrix倉下建湖的能力，在架構底層搭建S3和HDFS進行海量資料儲存。所以客戶如果面向當下場景有資料庫選型困難的問題，面向未來業務場景有需求變化的風險，那麼用YMatrix做起步是最合適的方案。

愛分析：在資料庫融合趨勢下，市場上也有很多廠商推出了“多模資料庫”。YMatrix超融合資料庫與多模資料庫的區別是什麼？

姚延棟： 市場中提的“多種模式”實際上是指多種資料型別，並沒有多個儲存模型或者資料模型。多模資料庫實現的是多資料型別的儲存，但當應用時，多種資料型別會出現儲存空間佔用高、協同速度慢以及查詢難最佳化等問題，缺失操作層面的融合。多模資料庫和YMatrix超融合資料庫的區別是多模實現的只是YMatrix的底層儲存層，YMatrix還實現了上層資料操作層面的融合，支援基於SQL的全場景查詢分析和機器學習建模分析。

愛分析：怎麼看未來超融合資料庫的發展前景？

姚延棟： 我認為，未來所有的資料庫都會嘗試往融合方向發展，因為專用資料庫只有做到在單場景下效能比通用資料庫快10倍，才能有生存空間。預計到2025年左右，超融合資料庫就會成為主流。

YMatrix超融合資料庫由於繼承了資料庫領域中優秀產品的成功經驗，效能比多數專用資料庫優良，對比之下，一些專用資料庫廠商還需要在資料庫領域多積累經驗，持續吸收學習後才能在資料庫領域佔據一席之地。

愛分析：下一步，YMatrix在產品研發和商業化等方面有哪些規劃？

後續，我們會在已經存在海量需求的時序場景深耕，嘗試替代傳統資料庫和專用類產品。資料量大、指標量多的車聯網、智慧製造、智慧能源、智慧城市、智慧園區、智慧醫療等場景會是重要的方向。這些場景所產生的業務需求，將最大化體現超融合產品的價值。