天雲資料入選第一批北京市級企業技術中心，Hubble資料庫提供新一代資訊科技科技服務

為助力北京國際科技創新中心建設，貫徹落實北京市“十四五”時期高精尖產業發展規劃，引導和支援企業加強創新能力，培育和引導企業技術中心建設，北京市經濟和資訊化局組織開展了2022年度第一批北京市市級企業技術中心的建立工作，經過嚴格的核查、評審，天雲資料等96家企業進入“2022年度第一批北京市市級企業技術中心”名單。

　　為什麼Hubble資料庫屢獲權威背書？

　　本次建立工作重點支援領域包括兩個國際引領支柱產業； “北京智造”四個特色優勢產業；“北京服務”四個創新連結產業；未來前沿產業，是依據《北京市“十四五”時期高精尖產業發展規劃》提出的“2441”高精尖產業體系，天雲資料入選是以新一代資訊科技為基礎利用大資料提供科技服務。

　　無獨有偶，今年工業和資訊化部辦公廳關於組織開展2022年大資料產業發展試點示範專案，天雲資料Hubble資料庫作為國產HTAP資料庫入選，獲得權威重點專案推薦。

　　從資料庫的發展歷程來看：IOE體系資料庫利用位於系統中心的伺服器統一管理 所有的共享資源，並處理來自使用者的請求，是面向資料結構的融合；分散式資料庫是對IOE體系資料庫的最佳化升級，是面向物理資源的融合；HTAP資料庫滿足網際網路的資料產銷合一方式帶動了流程驅動向資料驅動的資料庫架構轉型，是面向IO資源的融合。

　　網際網路的資料產銷合一方式帶動了流程驅動向資料驅動的資料庫架構轉型。交易、分析的兩階段體驗，以及大屏小屏化個性化服務下沉。基於創新的計算儲存框架，HTAP資料庫能夠在一份資料上同時支撐OLTP場景和OLAP場景。

　　那麼在 HTAP出現之前，應對以上的剛需市場是怎麼做的？把TP和AP做融合，成為湖倉一體的概念；然後把MPP資料庫與湖倉一體融合，成為新技術趨勢。實際上就是將MPP資料庫加Hadoop開源。

　　這種現象會帶來什麼風險？MPP資料庫不能單獨支援湖倉一體，它需要 Hbase 和 ES 來配合，本質還是屬於資料集。在某大型股份制銀行，為了支援手機銀行端的個性化數倉，傳統 MPP 結構根本沒法滿足剛才說的這種服務價值，要實現手機端對大屏小屏化的趨勢，還要配套數百個節點，所以現在市場上的湖倉一體本質上還是一個整合方案，需要在傳統MPP資料庫和開源hadoop之間做大量的資料同步和一致性校驗。既然要有資料同步，就必然有時間視窗，資料的不及時性、不一致性。

　　這不是簡單的替代邏輯，是產業鏈升級邏輯。面向新興的大資料領域，新興的資料庫依然扮演著重要角色，不僅僅可以對傳統資料庫Oracle做碾壓替代，同時還能夠勝任大資料領域的剛需。而在整個流批一體的市場需求上，Hubble資料庫的自身定位就具有天然優勢。

　　國產原創Hubble資料庫，提供統一支撐事務處理和工具負載分析。如何能夠在同一資料庫例項下，同時支撐高併發低延遲的OLTP事務，和海量密集計算的OLAP分析作業？天雲資料憑藉其多年來在大資料分散式計算領域的經驗以及多家大型銀行的實踐最終透過引入損失函式動態評價SQL邏輯計劃的執行成本、CBO代價最佳化解析、Sharding切片執行緒級別物理資源匹配不同計算負載、TP和AP雙引擎排程執行、隨機和序列化IO對儲存的訪問、依靠資料副本機制同時支援KV鍵值儲存和列存儲存交出了完美的答案。這意味著一張表可以同時支援行存和列存，真正的融合了儲存結構，避免了在交易和分析資料庫間每夜ETL資料搬家的繁瑣運維工作和資料冗餘。

　　Hubble資料庫10年前實現去O，用硬核科技服務產業變革

　　“IOE”架構成型的根本，在於先入為主以量取勝。

　　12年前，中國技術人就已經開始了“去IOE”的歷史工程。

　　2010年，天雲資料在雲基地就開始對分散式資料和機器學習進行產品研發，透過多年的摸索，從最開始的計算層、排程層、儲存層最後到解析層，自下而上，在沒有行業經驗可借鑑的情況下，最終走向了自研資料庫的道路，打造了代際更迭的無第三方開原始碼的HTAP資料庫Hubble。

　　實踐中，在某股份制商業銀行A類核心系統國產化成功替換Oracle一體機。對比Oracle，單表3億記錄數量級下的使用者業務場景效能突破 Oracle 800併發瓶頸，1600 併發下依然保持線性穩定服務。同等併發下，平均響應時間和最大響應時間均優於Oracle，具有穩定的線性橫向擴充套件能力。

　　專案時，該銀行核心系統只能夠查詢13個月以內的資料，對於一年以前的資料，無法實施線上獲取，只能透過備份庫匯出的方式，耗時耗力。隨著業務的逐漸增大，客戶對於歷史資料查詢的需求變高，所以迫切需要成立歷史資料線上查詢系統。在此背景下該銀行驗證了Oracle一體機與Hubble資料庫，綜合效能Hubble完勝Oracle一體機，最終選擇用Hubble資料庫。

　　並且實現了：

　　歷史資料查詢系統將近50只業務交易，每日交易量達到15W筆，成功的為核心系統減負近50%的交易壓力。

　　歷史資料查詢系統的資料是全行內資料儲存最長的系統，對接各類畫像系統，透過歷史資料，分析使用者的行為軌跡。

　　歷史資料查詢系統的各類檔案匯出，如excel、pdf、txt，檔案為監管查詢提供了極大方便，不用再去找備份庫進行資料恢復。

　　 寫在最後：

　　歷史上很多重大制度或秩序，都由技術創新推動。例如威尼斯商人建立的複式記帳法，在現金流之上建立了現代社會“資本”這—重要要素；荷蘭海上馬車伕設計的Loca 可投資的獨立船艙單元， 奠定了現代公司股權治理結構。資料， 作為土地，勞動力，資本之後的第四要素，一定有科技要素的配套作為制度保障。資料作為創新生產要素，必然配套制度創新。

　　AI原生資料庫透過更多的邏輯計劃豐富資料消費能力和形態，是面向服務的融合，Hubble資料庫不僅支援 SQL，還可以支援 Graph、ML、NLP2SQL、體素的計算。當AI的資料消費替代了視覺化資料消費成為主流，資料資料的生產工具必須是AI-Native資料庫。可以充分地釋放資料庫的計算資源，最大化釋放資料要素的價值，進一步突破行業天花板，形成更大產業規模。