案例1：某國有商業銀行構建實時互動式資料分析平臺，高效助力普惠金融業務

在銀行數字化轉型的過程中，客戶分析和精細化管理至關重要。在普惠金融業務中，如何對下沉的海量客戶建立數字普惠全景檢視，實現經營狀況及資產質量分析、客戶分析、產品分析、營銷分析等互動式資料分析能力，對於銀行普惠金融業務的開展起到了關鍵支撐作用。

某國有大型商業銀行充分利用徵信、工商、納稅、電力、司法、結算、供應鏈、政務、採購平臺、貸款資訊等行內外資料，將風險指標融入客戶多維畫像資訊，建立普惠金融營銷、准入、信用評價、授信、定價、貸後監測預警、催收等分析模型，實現關鍵業務指標實時報送，提供互動式資料分析。該平臺對底層資料基礎設施的實時性、高併發、穩定性和可用性等能力都提出了更高的要求。具體而言，需要解決以下需求：

1）海量異構資料的實時查詢。面對多樣複雜的客戶畫像資料，資料庫作為支撐業務使用者日常線上使用的系統，需要能夠執行行內超過200個以上標籤動態組合以及5張表以上任意條件篩選和組合的複雜查詢，達到秒級響應時間；

2）支撐高併發業務查詢場景。該銀行總共有5萬多位客戶經理提供日常對公和對私的業務服務，會不免出現同時間下的多點資料查詢需求。因此，資料庫要能夠在高併發場景下及時響應來滿足精準營銷和信貸風控的業務需要；

3）能夠穩定可靠地對外提供資料服務，滿足系統可用性級別要求。金融行業對資料一致性、系統的RPO和RTO指標、多資料中心等方面有嚴苛的要求，要保證資料不錯不漏、故障無損快速切換，提供多資料中心備災措施等。

基於分散式全記憶體資料庫RapidsDB構建資料分析平臺

為了滿足以上效能及業務需求，該銀行將藉助分散式記憶體計算技術提升資料庫分析效能，作為重點考察方向。柏睿資料分散式全記憶體資料庫RapidsDB在快速部署、叢集彈性、效能線性擴充套件、廣泛相容、異構資料支援、海量資料計算等多方面獲得行方的高度肯定，從而在行方同類資料庫產品選型中脫穎而出。

柏睿資料成立於 2014 年，是一家以資料庫為核心的“Data+AI〞資料智慧基礎軟體公司，國內首家因突破資料庫核心技術而獲得國家級專精特新“小巨人”稱號的民營企業。柏睿資料作為國內掌握全記憶體資料庫引擎關鍵專利的企業，基於完全自主研發的全記憶體分散式資料庫產品體系和人工智慧產品體系，打造軟硬一體化智慧資料處理平臺，其產品在算力效能、智慧化、安全性、標準化等關鍵技術指標上均業界領先，已為金融、政務、能源、通訊、醫療等眾多行業標杆客戶提供原創性數字化轉型技術產品服務。

圖4: 基於分散式全記憶體資料庫RapidsDB構建的實時互動式資料分析平臺

柏睿分散式全記憶體資料庫RapidsDB在該行的普惠金融業務場景中代替了原有的“Oracle + ElasticSearch”複雜技術棧，實現極速效能提升，而且保證了金融級別的穩定可靠和高可用性。

為了解決海量使用者資料實時查詢的效能問題，RapidsDB採用全記憶體架構避開了磁碟訪問I/O，達到更快的查詢速度；在多表關聯場景下，柏睿透過動態查詢最佳化、索引使用最佳化、join連線最佳化實現了多表關聯場景中更強的效能表現，達到複雜查詢的即時響應能力。

為了支撐上萬名業務經理高併發的查詢需求。RapidsDB採用分散式架構，透過動態擴充套件應對任務執行量的增長，並且配合查詢最佳化器均衡分配節點負載。同時，RapidsDB透過資料結構無鎖化實現了最大程度的併發能力。

針對金融級資料可靠性和可用性的要求，首先，RapidsDB在記憶體儲存之外還透過事務日誌和定期快照不斷地將資料備份到磁碟，實現資料庫記憶體與持久化儲存，如Flash、SSD、HD等，協同工作來確保資料無丟失風險。其次，在叢集內部可用性方面，資料節點透過成對的配置在彼此之間共享資料副本，保持資料實時同步。主備節點均可對外提供服務，如果出現任何葉的故障，RapidsDB將自動切換副本分割槽。在節點出現故障的情況下，RapidsDB透過將適當的副本分割槽升級為主分割槽來轉移節點故障，以便資料庫保持線上。在滿足叢集內高可用的基礎上，RapidsDB還實現了跨機房資料和系統服務的高可用，支援“同城雙中心”、“兩地三中心”、“三地五中心”等金融級別的災備方案，在系統本身發生故障、應用層報錯、網路錯誤、人為錯誤等情形下，資料庫系統均能保障良好的高可用性。

基於RapidsDB資料庫的資料分析平臺落地後的價值與效果

第一，  透過RapidsDB在大規模異構資料場景下的高效能表現，滿足了該銀行對多表關聯複雜查詢的需求。實現了1100億行資料、40TB大資料量下的實時查詢，支援前端SQL條件靈活組合、最多15個表join的多表複雜查詢。

第二，  RapidsDB支撐了全銀行5萬名客戶經理的日常查詢服務，具備典型情況下上百個併發查詢和極端情況下4000多個併發查詢的能力，能夠充分應對業務多點併發的讀取請求，達到平均3.6秒的響應時間。

第三，  RapidsDB能夠穩定可靠地執行，提供99.999%高可用的資料服務，滿足金融行業對資料庫的嚴苛要求，有效支撐了該銀行普惠金融業務的快速發展。

專案經驗總結

該銀行的資料分析平臺成功上線以來，柏睿資料RapidsDB分散式全記憶體資料庫展現了出色的效能和穩定性來支撐該銀行普惠金融業務的轉型升級。該專案的成功落地為同型別業務或者相似規模的企業提供了以下分析型資料庫的使用建議：

1）在類似普惠金融擁有海量多元化資料沉澱，並且要求高實時性查詢的業務場景中，全記憶體資料庫因為執行時不需要將資料同步到物理磁碟，從而避免了磁碟I/O限制對系統效能的影響並且減少了系統維護的工作量，所以被該型別業務場景所青睞。因此，對於資料存取效率要求較高的系統，全記憶體資料庫可以比主要利用磁碟存取的資料庫發揮更大的效能作用。

2）在類似國有銀行員工數量眾多、內部組織架構複雜的大型企業中，通常有大量業務人員同時進行日常查詢操作來保證業務正常運轉。因此，分析型資料庫需要具備分散式相關技術，透過動態擴充套件和平衡分配任務量支援多點併發的任務請求，保證同一時間下查詢的及時響應。

案例2：中信建投基於分析型資料庫構建統一查詢服務平臺，滿足企業大規模用數需求

中信建投證券（簡稱“中信建投”）是經中國證監會批准設立的全國性大型綜合證券公司，其在企業融資、收購兼併、證券經紀、資產管理、股票及衍生品交易等領域形成了自身特色和核心業務優勢，並搭建了研究諮詢、資訊科技、運營管理、風險管理、合規管理等專業高效的業務支援體系。目前，中信建投擁有超過1,000萬證券經紀業務客戶，託管證券市值超過5.5萬億元，位居行業第2名。

近年來，在證券服務逐漸網際網路化，以及券商牌照紅利逐漸消退的行業背景下，中信建投不斷加大對數字化的投入，尤其重視資料基礎設施的建設，期望在客戶服務、經營管理等多方面由經驗依賴向資料驅動轉變，從而提高服務水平和決策效率。因此，在公司總部和各分支機構，包括經紀、資管、投行等業務部門，以及稽核、審計、財務、法務等職能部門，對自助分析、多維分析、固定報表和API資料服務等形式的用數需求一直在不斷增長。

為了推動整體數字化建設和資料治理工作，中信建投已經在2019年搭建了基於Hadoop體系的資料湖，將大量歷史資料遷移到Hadoop上，用Hive對資料進行加工處理，所有的查詢計算都透過Presto執行。但是，該方案在最近兩年資料量快速增長、業務場景多樣化發展的趨勢下逐漸無法適用。具體而言，中信建投目前在資料查詢分析中主要存在以下痛點和需求：

1)  資料加工鏈路複雜。在資料分析的流程上，資料部門通常是首先用presto做即席查詢，再透過Hive進行資料加工，最後將加工過後的資料下發到各部門的Oracle或MySQL事務型資料庫，業務人員在事務資料庫裡對下發資料進行查詢和分析。整個過程需要在三套系統之間進行資料交換，且三套系統使用的SQL語法也不一致，需要不同人員進行開發維護，從而產生了多種問題：

• 資料開發和維護成本高；
• 資料口徑可能不一致，導致資料應用結果不準確；
• 用數需求難以得到及時滿足，通常要“T+1”才能給到資料包表。

2)  大資料量下效能不足，查詢響應慢。中信建投目前大部分的資料都儲存在Hive中，業務部門在進行自助分析時通常涉及的相關資料量較大，而Presto在大資料量、多表關聯查詢時會出現響應比較慢，甚至無法獲得查詢結果的問題，無法滿足單表及多表複雜查詢場景下響應的及時性。此外，Presto因為資源隔離不足會出現應用搶佔資源的情況，不能很好支援高併發的查詢請求。

3)  大量實時資料分散在各個業務系統，無法進行聯合分析。由於中信建投內部存在非常多的業務系統，各業務系統相互獨立且資料會不斷更新，而這些實時資料無法更新到Hive中，導致業務資料之間不能及時打通進行聯合分析。

4)  缺少預計算能力加速固定查詢。固定報表和API資料服務為各業務提供包括資料彙總結果、明細查詢、資料介面在內的多項能力，而基於固定資料查詢的視覺化報表通常資料查詢量大、計算維度較多，一個看板頁面涉及大約一兩百個SQL語句，整體運算效率低下。針對這種情況，中信建投希望透過預計算實現查詢加速，並且要求開發工作輕量化且資源消耗較低。

引入StarRocks構建統一查詢服務平臺

透過綜合對比資料庫即席查詢、實時分析效能、預計算能力、資料聯邦技術，並且結合中信建投已經在Hadoop體系中有大量投入，不希望做大規模資料搬遷的具體情況，將Hive外表查詢支援、SQL語法及函式的相容性等方面納入選型考慮，中信建投最終選擇引入StarRocks來構建統一的查詢服務平臺，滿足各部門的用數需求。

StarRocks是資料分析新正規化的開創者、新標準的領導者。面世三年來，StarRocks 一直專注打造世界頂級的新一代極速全場景 MPP 資料庫，幫助企業構建極速統一的湖倉新正規化，是實現數字化轉型和降本增效的關鍵基礎設施。當前全球超過 200 家市值 70 億元以上的頭部企業都在基於 StarRocks 構建新一代資料分析能力，包括騰訊、攜程、平安銀行、中原銀行、中信建投、招商證券、眾安保險、大潤發、百草味、順豐、京東物流、TCL、OPPO 等，並與全球雲端計算領導者亞馬遜雲、阿里雲、騰訊雲等達成戰略合作。專案在 GitHub 星數已超 3700 個，成為年度開源熱力值增速第一的專案，市場滲透率躋身中國前十名。

圖5：中信建投統一資料查詢服務平臺

作為一款高效能全場景的分析型資料庫，StarRocks使用MPP 架構、可實時更新的列式儲存引擎等技術實現多維、實時、高併發的資料分析。StarRocks 既支援從各類實時和離線的外部資料來源高效匯入資料，也支援直接分析資料湖上各種格式的資料，統一的SQL互動將資料分析結果或物化檢視預計算結果分發到各個資料應用，為中信建投實現了三套系統使用功能的整合以及資料應用流程的簡化。

具體而言，針對中信建投的痛點問題，StarRocks具備如下優勢：

1）在效能方面，針對大規模資料下自助BI敏捷高效的需求。StarRocks向量化執行引擎，全面實現了SIMD指令，保證查詢和向量化匯入可以充分利用單機單核CPU的處理能力；StarRocks自研的Pipeline協程引擎，使得StarRocks可以應對更高的併發查詢，充分利用單機多核CPU的處理能力，與此同時可以更優雅的進行CPU時間分片排程從而實現資源隔離的功能；StarRocks採用大規模並行處理（MPP）架構，可以充分利用多機多核的叢集資源，保證查詢效能可以線性擴充套件；並用基於成本的最佳化器CBO、RuntimeFilter、延遲物化、全域性低基數字典等多種⼿段實現極致查詢效能。

2）在外部表聯邦查詢方面，StarRocks可透過建立外部表的⽅式，在 StarRocks 讀取其他資料來源，如MySQL、Elasticsearch、Hive等外部表中的資料，從⽽打破資料的隔離。以Hive外表功能為例，中信建投可以將其Hive中的離線資料導⼊ StarRocks 中進⾏⾼效能分析查詢。同時，StarRocks 也可以扮演資料湖的⻆⾊，將離線資料與實時資料進⾏關聯，打通不同資料儲存間的壁壘，從⽽⽀撐業務分析時在資料湖中進⾏資料探查和極致分析的需求。

3）在預計算方面，為了實現固定報表的加速，StarRocks引入預計算的手段，透過建立多表、外表物化檢視的方式對明細資料進行上卷和下鑽，複用常見查詢有效最佳化了複雜SQL計算效率，滿足使用者對固定維度聚合分析以及原始明細資料任意維度分析的多樣需求。

中信建投統一查詢服務平臺落地後的效果與價值

第一，大資料查詢效能得到顯著提升。採用StarRocks內部表加速明細資料關聯查詢，實現了上億級別資料量大表關聯秒級響應，內表查詢效率提升10倍以上，外表查詢效率提升1倍以上，完全滿足大資料量下查詢分析及時響應的需求；

第二，預計算能力降低了固定報表加工成本。採用StarRocks預計算能力可以將固定報表和API資料服務響應速度提升1倍以上。多表物化檢視、外表物化檢視、QueryRewrite等高階功能，可以有效降低資料建模成本，使得“直面分析，按需加速”成為可能。

第三，降低資料遷移成本，提升資料管理和使用效率。StarRocks基於Hive外表做查詢，減少了後設資料和底層資料的遷移成本，並實現了實時資料聯通分析。同時，以StarRocks為統一資料服務入口，降低了整體資料查詢和加工的複雜度，提升了資料管理和使用效率。

專案經驗總結

中信建投進行數字化轉型過程中已經部署了大部分的資料基礎設施，但是已有的基於Hadoop構建資料湖的體系在近兩年來暴露出眾多問題，已經無法匹配業務的發展速度。中信建投基於自身業務需求和已有技術架構情況選擇以StarRocks構建統一資料服務入口的實踐，為同型別券商企業提供了以下經驗建議：

1)  分析型資料庫的選型需要充分考慮企業自身的用數需求，以及現有資料平臺的技術架構，選擇符合自身實際情況的資料庫是獲得較好的落地效果的關鍵。例如，中信建投大部分的資料都儲存在Hive中，StarRocks提供的類Presto的外表查詢功能可以避免資料遷移增加的額外成本，同時也很好地滿足了公司的用數需求。

2)  隨著企業資料庫規模不斷增長，以及分析場景更加複雜，分析型資料庫需要不斷提升資料查詢分析的效能，以及針對固定報表、自助BI等各種應用場景，提供場景化解決方案、生態工具，才能滿足使用者在資料查詢分析方面功能和效能的複雜需求。

案例3：民生銀行基於圖資料庫構建知識圖譜應用平臺，透過圖分析盤活資料資產

作為頭部股份制商業銀行，民生銀行始終堅定踐行“民營企業的銀行、敏捷開放的銀行、用心服務的銀行”的戰略定位，高度重視數字化轉型，主動融入數字中國建設，著力在“生態銀行”和“智慧銀行”兩大領域實現突破和提升，致力於為客戶提供專業特色的現代金融服務。

隨著金融行業數智轉型的程式加快，銀行業務資料量出現爆炸式增長，對金融行業的資料處理能力提出了更高要求。同時，面向海量資料的充分沉澱，挖掘資料資產的潛在價值，釋放蘊藏在資料要素中的生產力變得至關重要。對於民生銀行而言，全行業務場景眾多，由此積累了規模龐大的賬戶資料，也帶來了豐富的使用者關係資訊。在此基礎上，如何選擇新的資料庫進行技術革新，賦能業務實現資料驅動的決策，成為民生銀行內部一項重要的發展課題。具體而言，民生銀行需要採用新的資料技術解決以下難題：

1)  對大規模的業務資料進行高效的關聯關係分析與挖掘。風險控制和營銷作為銀行兩大重要業務發展手段，需要對海量使用者資料進行深度關聯關係挖掘，以識別潛在風險、瞭解客戶偏好。在傳統的關係型資料庫中，資料被儲存在二維表中，使用關係模型檢索需要執行多個表的連線操作，在深度關係挖掘能力與資料處理效能上表現嚴重不足；

2)  對行內資料拉通整合，進行統一的查詢分析。民生銀行內部各個業務系統較為多元，但是未在資料層面打通，各個業務之間相對獨立，並未建立關聯關係。此外，業務人員缺少統一的應用平臺對多元化的業務進行全域性聯通分析，資料管理分散，無法站在全域性的視野分析業務變化，進行實時決策；

3)  底層資料基礎設施的研發難度和成本較大，需要在解決技術難題的基礎上滿足大型企業要求的高可用、多租戶、許可權管理等能力需求。此外，隨著國家信創政策日益嚴格，金融業作為國家經濟命脈，必須充分實現關鍵資料基礎設施的國產化，具備資料庫系統的安全可控性，保障資訊保安。

基於Galaxybase圖資料庫構建知識圖譜應用平臺，賦能銀行業務升級

數字化轉型需求驅動下，民生銀行需要挖掘資料關聯關係，發揮數字資產價值，更好地提升風控、營銷等核心業務能力。因此民生銀行決定透過招標建設知識圖譜應用平臺，透過綜合考慮大規模的關聯關係查詢、多元化資料拉通整合、底層技術自主可控以及廠商技術領先性和實踐經驗等因素，最終創鄰科技從眾多圖資料庫廠商中脫穎而出。

創鄰科技是國內領先的商業化高效能分散式圖資料庫供應商，在分散式資料儲存、大資料並行處理、圖挖掘等領域有業界領先的技術儲備。創鄰科技聚焦金融板塊，目前已成功服務五大行、頭部股份制銀行以及城商行、農商行等企業使用者，核心產品Galaxybase國產高效能圖平臺已累計支援數萬億點邊的大型金融圖譜應用，效能國際領先。

圖7：基於Galaxybase圖資料庫構建的“永珍”知識圖譜應用平臺

在創鄰科技的幫助下，民生銀行以大資料、人工智慧技術為基礎，引入Galaxybase圖資料庫構建“永珍”知識圖譜應用平臺，提供資訊展示和互動式分析，具備本體建模、圖譜構建、圖譜挖掘、知識服務的一站式全流程應用能力，助力民生銀行業務升級。具體而言，基於Galaxybase圖資料庫的“永珍”知識圖譜應用平臺使民生銀行具備了以下能力：

1）藉助Galaxybase圖資料庫的圖譜視覺化和關係挖掘能力，民生銀行能夠基於圖譜對各類資訊拉通聚合，進行關聯關係挖掘，提供資訊展示和互動式分析功能。以構建企業全息圖譜為例，透過引入行外的全量工商、司法、智慧財產權等複雜資料且對企業的多重關係進行分析和挖掘，能夠實現關聯資訊的高效聚合，直觀呈現複雜客戶關係網路，簡化業務分析難度。

2）圖技術的形態識別和關係傳導能力可以在反欺詐業務中發揮重要作用，依託Galaxybase圖資料庫所具備的實時資料處理與圖構建能力，“永珍”知識圖譜平臺能對信貸申請件資料進行實時組網，透過裝置資訊、地理位置資訊、黑樣本、轉賬等關聯關係識別定位欺詐團伙，並且結合傳統欺詐特徵和網路特徵進行機器學習對申請條件評分，有效識別欺詐申請，進行及時預警，實時攔截欺詐風險，避免欺詐損失。

3）基於圖神經網路的知識推理，“永珍”知識圖譜平臺能夠提升銀行的營銷能力。透過對涵蓋個人客戶的銀行客群建立經營分析圖譜，“永珍”知識圖譜平臺可以基於使用者關係鏈進行社群關係推理，利用種子賬戶所在社群觸達全新使用者並實現拉新，由社群觸達的新成員，還能夠以不同的速度、方式和幅度進行裂變傳播，有效解決傳統客戶管理系統獲客難的問題，達成“快速實現賬戶增長，低成本輕鬆獲客”的目標。

為了滿足資料聯通整合的需求，民生銀行基於Galaxybase圖資料庫對行內外跨部門、跨產品、跨業務線中的實體及後設資料資訊進行了整合。同時，平臺配備視覺化圖分析平臺，業務人員無需程式設計技能即可透過視覺化圖形配置介面構建知識圖譜、部署圖演算法、執行計算並展示結果。

此外，Galaxybase圖資料庫具備企業級特性，透過主備叢集能力支援資料庫高可用，並且提供企業級的運維管理和安全監控能力，支援點邊型別和屬性的細粒度許可權管理。在信創方面，Galaxybase圖資料庫為國產自研產品，能夠滿足金融行業對資料技術安全自主可控的要求。

“永珍”知識圖譜平臺落地後的效果與價值

第一，  打破資料孤島，支撐海量資料的實時分析與關聯價值挖掘。透過構建“永珍”知識圖譜應用平臺，民生銀行能對行內外跨部門、跨產品、跨業務線中的實體及後設資料資訊進行整合，構建多觸點、全維度的視覺化關聯資訊圖譜，提供360°全景視覺化檢視，破除資料孤島。同時，“永珍”知識圖譜平臺底層採用的分散式架構支援動態線上擴容，新進的業務資料也能夠實時入網，業務人員能夠結合不同的場景利用知識圖譜進行實時決策。

第二，  圖譜視覺化技術為使用者提供業務全流程資料關係展現。“永珍”知識圖譜平臺能夠為業務系統輸出圖查詢、關聯和計算能力，同時為業務分析人員提供全息圖譜，提升內外資料關聯分析能力；針對研發人員，則提供資料關聯關係分析平臺，分析挖掘環境更加便利，可實現便捷的視覺化建模。最後，“永珍”知識圖譜平臺能夠為業務沉澱出一系列視覺化資料產品，實現全流程業務能力升級。

第三，  強勁的多跳查詢效能幫助銀行實現實時深挖隱藏關聯關係。依託於Galaxybase原生分散式並行圖資料庫可以極快地處理複雜的多跳關聯關係，“永珍”知識圖譜應用平臺能夠對於銀行的海量業務資料進行多跳查詢，挖掘查詢資料間的異常關聯關係，因此能夠快速對傳統方法不能找到的風險進行預判和警報，完美契合銀行的反洗錢、反欺詐、對公信貸等業務。

專案經驗總結

在數字經濟時代，為了實現資料價值的充分釋放，就需要將資料進行關聯，從單純的資料管理轉變為資料關係的挖掘、分析和利用。民生銀行引入創鄰科技Galaxybase圖平臺建設知識圖譜應用平臺的實踐，為同型別的業務場景提供了以下圖資料庫及相關應用的選型和使用經驗：

1）關注圖資料庫底層技術支撐能力。銀行業務數字化的快速發展一定會造成行內資料量爆發式增長，銀行企業在選擇圖資料庫時一定要考慮在超大資料規模下的底層資料庫支撐能力，要能夠在不降低查詢和計算效能的情況下高效實現知識圖譜的構建；同時，對於關聯關係的深度挖掘，銀行企業需要關注圖資料庫的多跳查詢效能，能夠實時挖掘複雜關係是關鍵。

2）重視信創政策，推進底層國產化替代。對於金融機構而言，實現底層資料基礎設施的國產化有助於保證整體系統安全穩定地執行，而且資料庫及其配套應用需要不斷迭代和適配來滿足未來業務場景的擴充，建議各銀行在招標過程中將圖資料庫的國產技術和圖應用解決方案綜合實力納入考慮，旨在減少後續更換底層資料庫的潛在風險和成本。

案例4：某新能源頭部製造企業基於超融合資料庫打造“資料湖倉平臺”，支撐企業高速發展

伴隨近年來新能源汽車在全球範圍內的銷量劇增，處於新能源汽車產業鏈重要位置的國內某頭部製造企業也迎來了業務的快速發展。為了提高產能，並降本增效，該企業需要不斷加強數字化建設，以支撐全球產品溯源追蹤、生產及售後運營分析、裝置預測性維護等多項業務。

然而，隨著該企業業務規模的迅速擴張，其需要處理的資料規模急劇膨脹，資料型別也比以往更加複雜，導致該企業原先基於MySQL、Greenplum構建的資料庫系統面臨顯著的效能和功能瓶頸，也給該企業的業務開展帶來以下挑戰：

1）原有數倉叢集遭遇效能瓶頸，維護擴容複雜，難以應對業務快速增長需求。

隨著業務的快速擴充套件，帶來資料規模的快速增長，以及查詢複雜度快速提升，原有叢集的 CPU 使用率長期維持高位執行，導致計算和查詢作業長時間排隊，致使業務間歇性卡頓，部分大型報表的等待時間甚至超過30 分鐘，嚴重影響了業務的執行效率和使用體驗。另一方面，原有數倉平臺的擴容也需要伴隨較長時間的停機等待，同時不支援資料的分層儲存管理，這使得對原有平臺進行不斷擴容，在時間和成本上都不可持續。

2）智慧製造亟待擴充複雜時序處理及分析能力。

該企業作為大型製造業集團，也在積極探索智慧製造的轉型創新，而首要的是對廣大的生產裝備進行數字化升級，這帶來廣泛的 IoT 場景需求。在其整體資料結構中，除了由常見的 MES、ERP 系統所產生的關係型資料，還有由數採單元面向裝置、物料和流程採集到的時序、GIS 等型別資料，比如涵蓋近百個指標的生產製造裝置工況資料、已售出產品的執行資料以及歷史維修資料等。目前架構中是透過 MySQL 和 Greenplum 來承載時序資料，但 MySQL 及 Greenplum 並不具備專門針對時序場景的強化特性及功能，資料承載力和查詢能力都十分有限：

•  寫入效能：無法承載超大裝置帶來的海量資料寫入負載；

•  寫入功能：無法支援動態、亂序、延遲寫入，以應對複雜工況下的資料產生環境；

•  查詢能力：點查詢效能有限，沒有視窗查詢、庫內機器學習等。

3）資料量倍數增張，總部中心叢集負載壓力大

目前，該企業集團在全國擁有數十家分支生產基地，每個生產基地的產線系統都需要高效能及可靠穩定的資料管理系統。面向未來，預期整個集團將持續以倍數級擴充產能，產線資料量將翻倍增長，對資料管理的承載力、效率、成本和易用性都提出了更高標準。

目前所有資料直接進入總部，對總部叢集造成很大負載壓力。除了持續擴容外，在不增加太多運維複雜度的基礎上，客戶迫切希望建立一套總分結合的“總部（雲）+工廠（邊）”協同架構，在增強整體資料承載能力的同時，也最佳化各子公司的資料平臺能力，實現對整體資料管理與治理能力的升級。

基於超融合資料庫，實現一套系統滿足企業多種型別資料儲存與處理需求

為了滿足對大規模、多源異構資料的儲存與處理需求，該企業需要引入新的資料基座來替換原先的MySQL、Greenplum資料庫。在此過程中，該企業考慮過Hadoop技術棧，但基於Hadoop技術棧滿足業務需求，需要同時構建非常複雜的開發和運維體系，成本過高。

由於YMatrix超融合資料庫具備高效能、支援多種資料型別、運維簡單等優勢，便成為了該企業的的最終選擇。

YMatrix成立於 2020 年，是一家創新型基礎軟體公司，致力於物聯網時代新一代資料基礎設施軟體的研發，並提供相關產品、解決方案及一站式商業服務。公司在業界率先提出超融合資料庫理念，併發布了 YMatrix 超融合資料庫，基於獨創的多微核心開放架構，在單一資料庫之上，實現多模態資料的融通管理，及全場景查詢分析的統一支援。YMatrix超融合資料庫可面向物聯網應用、工業網際網路、智慧運維、智慧城市、智慧家居、車聯網等場景，提供架構簡潔、功能豐富的資料基礎設施，並已在多家行業頭部公司成功實現商業化落地。

圖10：某新能源頭部製造企業基於超融合資料庫打造的“資料湖倉平臺”

YMatrix超融合資料庫在該企業內替代了原先的MySQl、Greenplum等資料庫，在支援多種型別資料的儲存、彙集與管理的同時，透過全面的功能承接了各類業務需求。具體而言，YMatrix超融合資料庫的以下功能特性解決了該企業此前存在的各種問題：

1）支援多種資料。由YMatrix超融合資料庫承建資料湖倉平臺，對接產線MES系統、ERP系統及給型別生產裝置數採系統等，將TP業務資料、時序資料、GIS資料、JSON文字資料，以及過去的歷史資料等等多種資料，統一進行寫入、儲存、管理，支援資料亂序、延遲寫入，支援ACID以確保資料完整性；

2）提供統一的查詢。YMatrix超融合資料庫透過標準SQL提供多型別資料查詢，在資料湖內實現資料的跨型別聯合分析，而無需再並行建設專門的技術棧；

3）支援庫內機器學習。YMatrix超融合資料庫支援庫內機器學習建模，可代替Flink + Spark，使演算法建模及計算在YMatrix叢集內實現，無需大規模的資料ETL過程，大幅簡化系統架構，且效能大幅提升，演算法分析工作效率提升10倍；

4）較高的查詢效能。YMatrix超融合資料庫針對寫入和分析等重點領域進行了多達138項深度的指令級的最佳化，能夠在單表查詢、多表關聯分析、時序資料查詢等常用場景上獲得比主流專用資料庫更高的效能。

5）簡化運維。YMatrix超融合資料庫技術架構簡化靈活，運維人員需要管理的技術棧變少，因此從根源上降低了其運維複雜度。同時，YMatrix超融合資料庫提供大量圖形化及自動化的運維能力，包括：線上擴容、自動資料平衡、資料生命週期管理、運維監控等，幫助使用者降低操作門檻、獲得更好的使用體驗以及更加自動化的作業能力。

此外，為了降低總部中心叢集負載壓力，YMatrix為該企業建設了邊緣數倉，即在分支工廠部署獨立數倉平臺，承載工廠的 MES、ERP、PLM 等各系統資料，完成這些生產資料在本級的資料歸集，同時進行預處理查詢分析，篩選出符合總部需要的資料後再上傳總部叢集。新構建的“總部（雲）+ 工廠（邊）”協同架構，在強化本地資料就近處理的能力之上，有效降低了集團叢集的負載，為後期業務的長期穩定執行及良性擴充套件奠定架構基礎。

超融合資料庫落地後的價值與效果

第一，  效能大幅提升，為應對業務量大規模擴張奠定基礎。在使用YMatrix超融合資料庫後，該企業解決了原有叢集效能不足、擴容伺服器耗時長、報表查詢等待過久等各項問題，查詢耗時最高縮短79%，為平臺支撐的各項業務服務體驗提供充沛的效能支援。

第二，  為數智化創新提供新一代通用資料基座，並提供更友好的使用體驗，大幅降低運維複雜度。透過 YMatrix超融合資料庫，支援多模態資料的全場景查詢分析需求，能夠服務企業級使用者未來 5-10 年可能存在的需求，幫助該企業避免了產品疊加或技術架構反覆調整帶來的技術風險和不必要成本。同時，YMatrix超融合資料庫透過資料超融合能力大幅精簡了系統架構，並供大量圖形化及自動化的運維能力，從而降低了資料庫的運維複雜度，讓使用者工作更加專注，作業更加高效。

第三，  資料管理成本獲得有效控制，同時降低總部叢集的壓力。YMatrix超融合資料庫在為⼤資料平臺帶來了上述最佳化與新功能的同時，在保證效能滿⾜需求的前提下，使得該企業每年在資源上的成本開銷減少了⾄少30%。同時，透過搭建更科學經濟的“總部（雲）+ 工廠（邊）”協同架構，減少資料傳輸成本的同時，降低因組織結構龐大、產能持續壯大給總部叢集帶來的壓力。

專案經驗總結

當前，中國正在從“製造大國”向“製造強國”轉型，與此同時，一批代表著戰略新興行業方向的製造業企業在市場需求以及政策推動下，正處在高速發展過程中。為了實現這樣的目標，數智化在其中將會起到關鍵支撐作用。我們認為，上述新能源頭部製造企業與YMatrix合作的案例，可以為同樣處於快速發展階段的製造業企業帶來以下借鑑意義：

第一，  資料基座的選型需要超前考慮中長期的業務發展需求。隨著企業業務的快速發展，企業內部資料量必然迅速增長，資料型別也將變得更加複雜。由於資料庫等基礎設施的遷移是項成本非常高昂的工作，企業在選型時需要充分評估未來5-10年的業務需求，選擇能夠應對中長期資料儲存和處理需求的資料基座。

第二，  為避免傳統方案複雜的開發和運維，企業可以考慮創新性的超融合資料庫。儘管市場上有一些大資料方案能夠滿足企業各類複雜的資料儲存和處理需求，如Hadoop技術棧，但面對企業複雜的需求，其開發和運維也非常複雜。超融合資料庫在簡化系統架構的同時，具備支援多種資料型別、效能高、運維簡單等優勢，是處於快速發展階段的企業非常理想的選擇。