下一站燈塔!湖倉一體，用“數”之道的必選項

近年來，隨著數字化驅動的深入，湖倉一體技術熱度不斷攀升，越來越多的資料庫企業推出相關產品或解決方案，儼然已成為了大資料技術發展的“下一燈塔”。

作為國內湖倉一體技術的代表性廠商，巨杉資料庫於近期舉行線上釋出會，釋出了基於「湖倉一體」架構的升級產品SequoiaDB v5.2，並特邀賽迪顧問分析師對日前釋出的國內首份《湖倉一體技術研究報告》進行深入解讀，進一步詮釋了「釋放全量資料價值」的價值觀點。

全量資料價值驅動新興技術，「湖倉一體」備受矚目

“面對企業海量大資料場景下的實時處理、非結構化資料治理的需求，以及資料倉儲/資料湖獨立建設的架構侷限，湖倉一體架構成為各廠商探索的方向。”賽迪顧問分析師在對《湖倉一體技術研究報告》解讀中表示。

過去，企業的資料多以結構化資料為主，但隨著行業數字化轉型程式的深入，資料多元化趨勢日益明顯，“全量資料”這一概念屢被提及。即對各個業務系統中產生的結構化，半結構化及非結構化資料進行分散式儲存，統一對接上層應用進行排程服務。“全量資料”概念的出現，使得資料業務場景愈發複雜，也對資料儲存管理架構提出新的要求。

不同的發展階段及業務需求，推動了資料庫技術不同的發展方向。上世紀80年代，由於資料庫“腦容量不足”，擅長事務型工作，不擅長分析型工作，於是產生了資料倉儲。本世紀10年代，隨著海量資料的爆發式增長，資料型別的日益多元化，則推動了資料湖的出現。而在更加強調數字經濟、智慧化的20年代，湖倉一體技術藉助海量、實時、多模的資料處理能力，實現全量資料價值的持續釋放，成為了企業數字化轉型過程中的關注焦點。

湖倉一體三大融合方向，資料來源：賽迪顧問整理，2022年6月

作為一種新型的開放式架構，湖倉一體打通了資料倉儲和資料湖，將資料倉儲的高效能及管理能力與資料湖的靈活性融合了起來，底層支援多種資料型別並存，且實現資料間的相互共享。上層可以透過統一封裝的介面進行訪問，可同時支援實時查詢和分析。使得資料入湖後可原地進行資料處理加工，避免資料多份冗餘以及流動導致的算力、網路及成本開銷，可作為超大型的 資料儲存資源池，實現對全量資料的實時處理。

從交易核心到資料核心，“實時”成關鍵要素

過去的10年，是資訊化向數字化轉型的10年，移動網際網路、AI、IOT、大資料等的興起與發展，數字化成為企業的全新課題，資料庫則是企業數字化轉型的基石。

“各行各業都在加速數字化發展，行業不但需要基於資訊化的傳統交易核心，更需要面向全量資料價值的資料核心，形成以資料為紐帶的雙核心架構。”巨杉資料庫在釋出會中提到。與傳統「交易核心」往往僅針對特定業務系統解決其交易需求不同的是，「資料核心」需要匯聚從多個「交易核心」產生的實時交易流水資料，為全企業跨業務的多個系統提供高併發的實時對客全量資料查詢及資料探索分析能力。

以對資料管理要求最高，場景最為複雜的金融銀行業為例。以往，金融機構的部分資料相關業務和服務，如歷史交易資料查詢、證券開戶等，因資料庫缺乏全量資料儲存及實時能力，無法實現實時處理，需要花費幾分鐘甚至幾小時的時間。這對於當前的使用者體驗標準而言，無疑是不符合要求的。而從銀行自身角度來看，如果不能對使用者的消費行為、過程行為等資料做到實時儲存、分析，那就無法針對性地對使用者做個性化的服務推薦，這同樣也不符合銀行的需求。因此，對全量資料的處理從內部離線轉向實時對客已勢在必行，這就需要底層資料庫能夠支援對全量資料的實時呼叫讀取分析。

對此，作為長期聚焦於金融銀行業的巨杉資料庫SequoiaDB，基於「湖倉一體」架構，能夠將企業多個「交易核心」資料庫所產生的業務流水資料，以流式入湖的方式，秒級匯聚到SequoiaDB形成全量資料底座，實現所有資料可對客提供高併發毫秒級訪問。形成全量資料的價值從「內部離線」向「實時對客」的進一步釋放。

全新技術賽道，或再迎百花齊放

近年來，在中國高速增長的市場環境下，國內資料庫行業發展也進入了快車道。但無法忽視的是，關係型資料庫自上世紀70年代末誕生，在經歷了40多年的發展後，對於其固有的業務場景來說，業界基本已經做到了極致。在這個賽道中，相比海外資料庫廠商，國產資料庫仍在努力追趕。

新的需求催生新的賽道。從需求側來看，面向海量資料實時訪問、非結構化線上處理等新的業務場景，傳統交易型資料庫明顯力不從心。因此，對於國產資料庫廠商而言，湖倉一體將是一個實現數字化創新突破的新興賽道。這也是國內資料庫廠商紛紛入局的原因之一。

縱觀國內湖倉一體技術賽道，各家產品雖然技術路線不同，或自研，或基於開源，或基於自身雲平臺的產品組合，但最終目的均一致是為了降低資料在不同平臺間的流動。比如像阿里雲、華為雲等雲廠商，會透過各類雲上的工具打通不同產品或元件間的資料流通，而巨杉資料庫等分散式資料庫企業，則會盡可能讓同一平臺上的資料具備更豐富的應用場景。

作為國內分散式資料庫的代表企業，巨杉資料庫SequoiaDB的「湖倉一體」是從「多模資料湖」、「實時資料湖」結合「實時數倉」發展而來，為客戶提供面向全量資料儲存，實時對客服務，及基於統一資料來源分析能力的需求，驅動數字化業務創新，釋放全量資料價值。

相信，伴隨著中國經濟的高速發展，“釋放全量資料價值”這一觀點勢必將成為業界共識。而湖倉一體技術，也將為中國資料庫行業帶來全新的機遇與挑戰。