化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

ifenxi發表於2023-01-13

 

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

報告編委

黃勇 
愛分析合夥人&首席分析師
洪逸群
愛分析高階分析師
張良筠
愛分析分析師
外部專家(按姓氏拼音排序)
李遠志
柏睿資料 副總裁
謝寅
鏡舟科技 資深解決方案架構師
許哲
中信建投證券 資料組VP
姚延棟
YMatrix 創始人&CEO
張晨
創鄰科技 CEO

特別鳴謝(按拼音排序)

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

報告摘要

隨著近幾年整個產業數字化程式的深入,資料庫的應用場景變得更多、更復雜,導致資料庫需要應對相比以往急劇增長的資料規模,處理更加多樣的資料型別,以及具備更加複雜的場景化能力。

因此,近年來,高效能、非關係型資料支援、簡化使用和運維,場景化解決方案等能力成為企業應用資料庫的關鍵考量因素,多種新一代的資料庫也逐漸在企業中落地。

分析型資料庫釋放業務資料潛在價值

分析型資料庫作為資料基礎設施的核心,需要提供高效的資料查詢和計算服務支撐業務運轉。然而企業現有的大資料引擎逐漸暴露出了即席查詢不夠敏捷、大資料量高併發響應慢、固定報表運算效率低下的效能缺陷。此外,多資料來源儲存系統的分散獨立使得資料聯通查詢分析遇到困難。

針對現有資料分析引擎的效能缺陷和多資料來源無法聯通的問題,分析型資料庫著重提升了即席查詢、大規模資料高併發查詢、固定報表運算效率,並且提供聯邦的功能支援跨多資料來源進行查詢和分析,打破了企業資料孤島,釋放業務資料價值。

圖資料庫助力挖掘資料關聯關係

在進行業務資料分析時,識別資料間的關聯並對其特點進行研究是一項重要的工作,例如在社交網路、金融風控、營銷等場景都需要從海量資料中發掘出單體之間的隱藏關係。但由於傳統的關係型資料庫對關聯關係的查詢能力有限,以及相關分析工具和解決方案的缺失,關聯關係的挖掘成為企業面臨的難題。

圖分析解決方案為了應對企業在資料關係探索上的難題,利用圖資料庫的儲存和關係計算能力,支援使用者使用圖演算法對海量資料進行挖掘並對其關係特點進行分析。此外,知識圖譜平臺具備圖譜構建和知識推理計算能力,將圖的關聯關係轉化為知識,實現業務洞察。

超融合資料庫支撐企業多元化業務快速發展

中大型企業在複雜多樣的業務場景中沉澱了海量資料,而且由於業務持續擴張增長的趨勢,企業需要不斷加強數字化基座的能力來匹配海量資料規模和業務發展速度。然而企業現有的的資料庫承載資料型別有限並且效能表現不足,難以滿足企業對資料庫服務的需求。

為了解決在業務快速發展過程中遇到的承載資料型別限制和效能表現欠佳的問題,超融合資料庫部署了針對不同資料型別的專有引擎,技術架構的簡易化不會為企業增加過多的運維管理成本。同時,超融合資料庫具備與常見的專用資料庫或大資料引擎同等或更好的效能表現。

目錄

1. 報告綜述

2. 分析型資料庫

3. 圖資料庫

4. 超融合資料庫

5. 結語

1.   報告綜述

作為承載各類資料儲存和處理需求的基礎設施,資料庫在企業數字化轉型的過程中起到了關鍵的支撐作用。但隨著近幾年產業數字化程式的深入,資料庫的應用場景比以往更多、更復雜,導致資料庫需要應對以下幾點關鍵變化和挑戰。

首先,企業內的資料規模在急劇增長。無論是企業尋求透過數字化轉型實現資料驅動業務決策,還是一些新興行業企業業務的快速擴張,都讓企業的資料量從原先的幾十TB,迅速增長至幾百TB,甚至是PB級。然而傳統的資料庫在效能方面,很難應對如此大規模資料量的查詢分析。

其次,企業需要儲存和處理的資料型別變得更多樣。關係型資料占主導地位的時代已經過去,現在,企業在很多新興應用場景中為了提高資料儲存和分析效率,採用了新的資料模型。例如,營銷、風控中用於關聯關係分析的圖資料,製造業中用於記錄生產過程的時序資料,以及文件、健值、GIS等各種資料模型。如何處理多種型別資料,成為企業在資料庫層面需要首先解決的問題。

最後,企業越來越需要資料庫具備場景化的解決方案。通常,企業已經建有一定的資料基礎設施,且不同行業企業的資料應用場景往往有一些特殊要求,為了減少資料遷移和載入,並加速資料分析,企業需要資料庫具備相應場景化的功能和解決方案。例如,在大資料量固定報表場景,企業需要資料庫具備預計算能力;在企業有多套業務系統需要聯合分析的場景,企業需要資料庫具備聯邦查詢能力;在工業企業需要不斷收集資料做預測性維護的場景,企業需要資料庫具備庫內機器學習的能力。

圖 1: 資料庫應用面臨的三大挑戰

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

面對這些變化和挑戰,資料庫業內一直在升級或推出新的資料庫產品,以滿足企業的需求。為了提升資料庫效能,企業可以採用基於分散式、記憶體儲存,以及多種技術最佳化的新一代資料庫;為了處理多種型別資料,企業可以選擇各種專用資料庫,如圖資料庫、時序資料庫、搜尋引擎等,而當企業部署了多套資料庫系統,運維難度大,且又需要做聯合分析時,在核心層融合多型別資料處理能力的超融合資料庫,則是最佳選擇;為了實現場景解決方案,具備預計算、聯邦查詢、庫內機器學習等其中一種或多種能力的資料庫,逐漸成為企業重點關注的因素。

為了幫助企業更好地理解如何應用合適的資料庫解決企業面臨的這些普遍問題,本報告選取了分析型資料庫、圖資料庫和超融合資料庫市場的4個典型的資料庫應用案例,對每個案例中的企業需求、解決方案和落地效果進行詳細分析,並總結提煉案例背後體現的共性價值。

2.    分析型資料庫

2.1分析型資料庫多方位最佳化效能,高效提供資料服務

在數字化轉型的驅動下,各行業均呈現出資料量爆發式增長、資料應用場景多樣化擴充的趨勢。面對海量資料,如何從中發掘出有效資訊來支援決策,成為企業業務運轉和實現轉型增長的關鍵。分析型資料庫作為資料基礎設施的核心,不僅要為各系統輸送資料查詢和分析的能力,而且要保證自身服務的高效性來滿足及時用數的需求。

然而,在業務場景不斷擴充、資料規模持續增長的壓力下,企業傳統使用的查詢分析引擎效能表現嚴重不足,無法支援實時業務決策,具體表現在:

  •       即席查詢不夠敏捷。在企業進行決策時,資料分析作為了解業務運轉情況的重要手段之一,需要透過多表關聯、自由組合查詢條件的方式對多維度指標進行上卷和下鑽探查。然而傳統的分析引擎在大資料量、複雜查詢的場景下逐漸無法適用,會出現響應慢,甚至無法獲取查詢結果的問題,不能夠很好地支援資料聚合計算、明細查詢等需求;
  •       大資料量、高併發請求響應慢。隨著資料查詢和分析的需求逐漸向業務端推進,業務人員也常常需要進行日常查詢操作來支撐實時決策。然而大型企業通常業務人員眾多,不免帶來同時間下多點併發查詢的請求,對資料庫造成效能壓力,引起響應延時的問題;
  •       固定報表運算效率低下。除了自助分析之外,企業還需要透過固定報表瞭解關鍵指標的動態和趨勢。固定報表通常由多個SQL組成,涉及資料量大且計算維度多,容易造成資料庫計算效率低下的問題。

針對現有資料庫在效能上的欠缺,分析型資料庫廠商著重提升了即席查詢、大規模資料高併發執行、固定報表等方面的效能來滿足企業用數需求。具體從以下方面著手解決問題:

圖2: 最佳化分析型資料庫效能加速服務響應

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

  •      最佳化在大資料量、多表關聯複雜計算的能力。分析型資料庫透過具備高效資料存取的全記憶體架構、查詢索引最佳化、多表連線最佳化等手段提升資料吞吐量和查詢計算效率,減少業務決策的停頓等待時間;
  •      提升資料吞吐量、任務執行併發度。為了滿足大資料量、高併發的資料查詢請求,分析型資料庫通常採用分散式部署,利用大規模並行執行架構的優勢,配合均衡分配節點負載等手段提升資料吞吐量,使數 據庫具備多工併發能力;
  •      引入預計算加速固定查詢。在固定報表的場景下,分析型資料庫可以引入預計算能力,利用構建物化檢視的方式複用常見查詢,加速複雜SQL計算能力。

2.2高效聯通多資料系統,聯邦查詢跨源提供資料查詢

隨著資料來源的擴充,以及資料儲存系統相對獨立,企業難以將多資料來源進行打通,造成資料聯通查詢分析困難的問題。當分析人員需要結合其他業務資料或站在全域性視角進行決策時,會遇到系統間資料流轉不暢、資料加工繁瑣、用數口徑不一致等問題,難以保證決策的準確性。

此外,Hadoop大資料解決方案需要大量資料搬遷,將多源資料整合成內表進行統一查詢,企業在已經具備成熟的大資料儲存引擎的情況下通常進行大規模資料遷移的成本會很高。

圖3:聯邦功能跨多資料來源查詢

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

針對企業多資料來源的情況,一些分析型資料庫提供聯邦查詢的功能,支援查詢多源資料。外表聯邦查詢功能透過只儲存表對應的後設資料,並直接向所在資料來源發起查詢,避開了資料遷移工作,並且實現了資料層面的整合分析。

同時,外表聯邦查詢功能支援包括MySQL、Elasticsearch、Hive、Iceberg在內的多個第三方資料來源,並且可以滿足使用者對不同維度、不同層面聚合或明細查詢的多樣需求。

 

案例1:某國有商業銀行構建實時互動式資料分析平臺,高效助力普惠金融業務

在銀行數字化轉型的過程中,客戶分析和精細化管理至關重要。在普惠金融業務中,如何對下沉的海量客戶建立數字普惠全景檢視,實現經營狀況及資產質量分析、客戶分析、產品分析、營銷分析等互動式資料分析能力,對於銀行普惠金融業務的開展起到了關鍵支撐作用。

某國有大型商業銀行充分利用徵信、工商、納稅、電力、司法、結算、供應鏈、政務、採購平臺、貸款資訊等行內外資料,將風險指標融入客戶多維畫像資訊,建立普惠金融營銷、准入、信用評價、授信、定價、貸後監測預警、催收等分析模型,實現關鍵業務指標實時報送,提供互動式資料分析。該平臺對底層資料基礎設施的實時性、高併發、穩定性和可用性等能力都提出了更高的要求。具體而言,需要解決以下需求:

1)海量異構資料的實時查詢。面對多樣複雜的客戶畫像資料,資料庫作為支撐業務使用者日常線上使用的系統,需要能夠執行行內超過200個以上標籤動態組合以及5張表以上任意條件篩選和組合的複雜查詢,達到秒級響應時間;

2)支撐高併發業務查詢場景。該銀行總共有5萬多位客戶經理提供日常對公和對私的業務服務,會不免出現同時間下的多點資料查詢需求。因此,資料庫要能夠在高併發場景下及時響應來滿足精準營銷和信貸風控的業務需要;

3)能夠穩定可靠地對外提供資料服務,滿足系統可用性級別要求。金融行業對資料一致性、系統的RPO和RTO指標、多資料中心等方面有嚴苛的要求,要保證資料不錯不漏、故障無損快速切換,提供多資料中心備災措施等。

基於分散式全記憶體資料庫RapidsDB構建資料分析平臺

為了滿足以上效能及業務需求,該銀行將藉助分散式記憶體計算技術提升資料庫分析效能,作為重點考察方向。柏睿資料分散式全記憶體資料庫RapidsDB在快速部署、叢集彈性、效能線性擴充套件、廣泛相容、異構資料支援、海量資料計算等多方面獲得行方的高度肯定,從而在行方同類資料庫產品選型中脫穎而出。

柏睿資料成立於 2014 年,是一家以資料庫為核心的“Data+AI〞資料智慧基礎軟體公司,國內首家因突破資料庫核心技術而獲得國家級專精特新“小巨人”稱號的民營企業。柏睿資料作為國內掌握全記憶體資料庫引擎關鍵專利的企業,基於完全自主研發的全記憶體分散式資料庫產品體系和人工智慧產品體系,打造軟硬一體化智慧資料處理平臺,其產品在算力效能、智慧化、安全性、標準化等關鍵技術指標上均業界領先,已為金融、政務、能源、通訊、醫療等眾多行業標杆客戶提供原創性數字化轉型技術產品服務。

圖4: 基於分散式全記憶體資料庫RapidsDB構建的實時互動式資料分析平臺

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

柏睿分散式全記憶體資料庫RapidsDB在該行的普惠金融業務場景中代替了原有的“Oracle + ElasticSearch”複雜技術棧,實現極速效能提升,而且保證了金融級別的穩定可靠和高可用性。

為了解決海量使用者資料實時查詢的效能問題,RapidsDB採用全記憶體架構避開了磁碟訪問I/O,達到更快的查詢速度;在多表關聯場景下,柏睿透過動態查詢最佳化、索引使用最佳化、join連線最佳化實現了多表關聯場景中更強的效能表現,達到複雜查詢的即時響應能力。

為了支撐上萬名業務經理高併發的查詢需求。RapidsDB採用分散式架構,透過動態擴充套件應對任務執行量的增長,並且配合查詢最佳化器均衡分配節點負載。同時,RapidsDB透過資料結構無鎖化實現了最大程度的併發能力。

針對金融級資料可靠性和可用性的要求,首先,RapidsDB在記憶體儲存之外還透過事務日誌和定期快照不斷地將資料備份到磁碟,實現資料庫記憶體與持久化儲存,如Flash、SSD、HD等,協同工作來確保資料無丟失風險。其次,在叢集內部可用性方面,資料節點透過成對的配置在彼此之間共享資料副本,保持資料實時同步。主備節點均可對外提供服務,如果出現任何葉的故障,RapidsDB將自動切換副本分割槽。在節點出現故障的情況下,RapidsDB透過將適當的副本分割槽升級為主分割槽來轉移節點故障,以便資料庫保持線上。在滿足叢集內高可用的基礎上,RapidsDB還實現了跨機房資料和系統服務的高可用,支援“同城雙中心”、“兩地三中心”、“三地五中心”等金融級別的災備方案,在系統本身發生故障、應用層報錯、網路錯誤、人為錯誤等情形下,資料庫系統均能保障良好的高可用性。

基於RapidsDB資料庫的資料分析平臺落地後的價值與效果

第一,  透過RapidsDB在大規模異構資料場景下的高效能表現,滿足了該銀行對多表關聯複雜查詢的需求。實現了1100億行資料、40TB大資料量下的實時查詢,支援前端SQL條件靈活組合、最多15個表join的多表複雜查詢。

第二,  RapidsDB支撐了全銀行5萬名客戶經理的日常查詢服務,具備典型情況下上百個併發查詢和極端情況下4000多個併發查詢的能力,能夠充分應對業務多點併發的讀取請求,達到平均3.6秒的響應時間。

第三,  RapidsDB能夠穩定可靠地執行,提供99.999%高可用的資料服務,滿足金融行業對資料庫的嚴苛要求,有效支撐了該銀行普惠金融業務的快速發展。

專案經驗總結

該銀行的資料分析平臺成功上線以來,柏睿資料RapidsDB分散式全記憶體資料庫展現了出色的效能和穩定性來支撐該銀行普惠金融業務的轉型升級。該專案的成功落地為同型別業務或者相似規模的企業提供了以下分析型資料庫的使用建議:

1)在類似普惠金融擁有海量多元化資料沉澱,並且要求高實時性查詢的業務場景中,全記憶體資料庫因為執行時不需要將資料同步到物理磁碟,從而避免了磁碟I/O限制對系統效能的影響並且減少了系統維護的工作量,所以被該型別業務場景所青睞。因此,對於資料存取效率要求較高的系統,全記憶體資料庫可以比主要利用磁碟存取的資料庫發揮更大的效能作用。

2)在類似國有銀行員工數量眾多、內部組織架構複雜的大型企業中,通常有大量業務人員同時進行日常查詢操作來保證業務正常運轉。因此,分析型資料庫需要具備分散式相關技術,透過動態擴充套件和平衡分配任務量支援多點併發的任務請求,保證同一時間下查詢的及時響應。

 

案例2:中信建投基於分析型資料庫構建統一查詢服務平臺,滿足企業大規模用數需求

中信建投證券(簡稱“中信建投”)是經中國證監會批准設立的全國性大型綜合證券公司,其在企業融資、收購兼併、證券經紀、資產管理、股票及衍生品交易等領域形成了自身特色和核心業務優勢,並搭建了研究諮詢、資訊科技、運營管理、風險管理、合規管理等專業高效的業務支援體系。目前,中信建投擁有超過1,000萬證券經紀業務客戶,託管證券市值超過5.5萬億元,位居行業第2名。

近年來,在證券服務逐漸網際網路化,以及券商牌照紅利逐漸消退的行業背景下,中信建投不斷加大對數字化的投入,尤其重視資料基礎設施的建設,期望在客戶服務、經營管理等多方面由經驗依賴向資料驅動轉變,從而提高服務水平和決策效率。因此,在公司總部和各分支機構,包括經紀、資管、投行等業務部門,以及稽核、審計、財務、法務等職能部門,對自助分析、多維分析、固定報表和API資料服務等形式的用數需求一直在不斷增長。

為了推動整體數字化建設和資料治理工作,中信建投已經在2019年搭建了基於Hadoop體系的資料湖,將大量歷史資料遷移到Hadoop上,用Hive對資料進行加工處理,所有的查詢計算都透過Presto執行。但是,該方案在最近兩年資料量快速增長、業務場景多樣化發展的趨勢下逐漸無法適用。具體而言,中信建投目前在資料查詢分析中主要存在以下痛點和需求:

1)  資料加工鏈路複雜。在資料分析的流程上,資料部門通常是首先用presto做即席查詢,再透過Hive進行資料加工,最後將加工過後的資料下發到各部門的Oracle或MySQL事務型資料庫,業務人員在事務資料庫裡對下發資料進行查詢和分析。整個過程需要在三套系統之間進行資料交換,且三套系統使用的SQL語法也不一致,需要不同人員進行開發維護,從而產生了多種問題:

  • 資料開發和維護成本高;
  • 資料口徑可能不一致,導致資料應用結果不準確;
  • 用數需求難以得到及時滿足,通常要“T+1”才能給到資料包表。

2)  大資料量下效能不足,查詢響應慢。中信建投目前大部分的資料都儲存在Hive中,業務部門在進行自助分析時通常涉及的相關資料量較大,而Presto在大資料量、多表關聯查詢時會出現響應比較慢,甚至無法獲得查詢結果的問題,無法滿足單表及多表複雜查詢場景下響應的及時性。此外,Presto因為資源隔離不足會出現應用搶佔資源的情況,不能很好支援高併發的查詢請求。

3)  大量實時資料分散在各個業務系統,無法進行聯合分析。由於中信建投內部存在非常多的業務系統,各業務系統相互獨立且資料會不斷更新,而這些實時資料無法更新到Hive中,導致業務資料之間不能及時打通進行聯合分析。

4)  缺少預計算能力加速固定查詢。固定報表和API資料服務為各業務提供包括資料彙總結果、明細查詢、資料介面在內的多項能力,而基於固定資料查詢的視覺化報表通常資料查詢量大、計算維度較多,一個看板頁面涉及大約一兩百個SQL語句,整體運算效率低下。針對這種情況,中信建投希望透過預計算實現查詢加速,並且要求開發工作輕量化且資源消耗較低。

引入StarRocks構建統一查詢服務平臺

透過綜合對比資料庫即席查詢、實時分析效能、預計算能力、資料聯邦技術,並且結合中信建投已經在Hadoop體系中有大量投入,不希望做大規模資料搬遷的具體情況,將Hive外表查詢支援、SQL語法及函式的相容性等方面納入選型考慮,中信建投最終選擇引入StarRocks來構建統一的查詢服務平臺,滿足各部門的用數需求。

StarRocks是資料分析新正規化的開創者、新標準的領導者。面世三年來,StarRocks 一直專注打造世界頂級的新一代極速全場景 MPP 資料庫,幫助企業構建極速統一的湖倉新正規化,是實現數字化轉型和降本增效的關鍵基礎設施。當前全球超過 200 家市值 70 億元以上的頭部企業都在基於 StarRocks 構建新一代資料分析能力,包括騰訊、攜程、平安銀行、中原銀行、中信建投、招商證券、眾安保險、大潤發、百草味、順豐、京東物流、TCL、OPPO 等,並與全球雲端計算領導者亞馬遜雲、阿里雲、騰訊雲等達成戰略合作。專案在 GitHub 星數已超 3700 個,成為年度開源熱力值增速第一的專案,市場滲透率躋身中國前十名。

圖5:中信建投統一資料查詢服務平臺

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

作為一款高效能全場景的分析型資料庫,StarRocks使用MPP 架構、可實時更新的列式儲存引擎等技術實現多維、實時、高併發的資料分析。StarRocks 既支援從各類實時和離線的外部資料來源高效匯入資料,也支援直接分析資料湖上各種格式的資料,統一的SQL互動將資料分析結果或物化檢視預計算結果分發到各個資料應用,為中信建投實現了三套系統使用功能的整合以及資料應用流程的簡化。

具體而言,針對中信建投的痛點問題,StarRocks具備如下優勢:

1)在效能方面,針對大規模資料下自助BI敏捷高效的需求。StarRocks向量化執行引擎,全面實現了SIMD指令,保證查詢和向量化匯入可以充分利用單機單核CPU的處理能力;StarRocks自研的Pipeline協程引擎,使得StarRocks可以應對更高的併發查詢,充分利用單機多核CPU的處理能力,與此同時可以更優雅的進行CPU時間分片排程從而實現資源隔離的功能;StarRocks採用大規模並行處理(MPP)架構,可以充分利用多機多核的叢集資源,保證查詢效能可以線性擴充套件;並用基於成本的最佳化器CBO、RuntimeFilter、延遲物化、全域性低基數字典等多種⼿段實現極致查詢效能。

2)在外部表聯邦查詢方面,StarRocks可透過建立外部表的⽅式,在 StarRocks 讀取其他資料來源,如MySQL、Elasticsearch、Hive等外部表中的資料,從⽽打破資料的隔離。以Hive外表功能為例,中信建投可以將其Hive中的離線資料導⼊ StarRocks 中進⾏⾼效能分析查詢。同時,StarRocks 也可以扮演資料湖的⻆⾊,將離線資料與實時資料進⾏關聯,打通不同資料儲存間的壁壘,從⽽⽀撐業務分析時在資料湖中進⾏資料探查和極致分析的需求。

3)在預計算方面,為了實現固定報表的加速,StarRocks引入預計算的手段,透過建立多表、外表物化檢視的方式對明細資料進行上卷和下鑽,複用常見查詢有效最佳化了複雜SQL計算效率,滿足使用者對固定維度聚合分析以及原始明細資料任意維度分析的多樣需求。

中信建投統一查詢服務平臺落地後的效果與價值

第一,大資料查詢效能得到顯著提升。採用StarRocks內部表加速明細資料關聯查詢,實現了上億級別資料量大表關聯秒級響應,內表查詢效率提升10倍以上,外表查詢效率提升1倍以上,完全滿足大資料量下查詢分析及時響應的需求;

第二,預計算能力降低了固定報表加工成本。採用StarRocks預計算能力可以將固定報表和API資料服務響應速度提升1倍以上。多表物化檢視、外表物化檢視、QueryRewrite等高階功能,可以有效降低資料建模成本,使得“直面分析,按需加速”成為可能。

第三,降低資料遷移成本,提升資料管理和使用效率。StarRocks基於Hive外表做查詢,減少了後設資料和底層資料的遷移成本,並實現了實時資料聯通分析。同時,以StarRocks為統一資料服務入口,降低了整體資料查詢和加工的複雜度,提升了資料管理和使用效率。

專案經驗總結

中信建投進行數字化轉型過程中已經部署了大部分的資料基礎設施,但是已有的基於Hadoop構建資料湖的體系在近兩年來暴露出眾多問題,已經無法匹配業務的發展速度。中信建投基於自身業務需求和已有技術架構情況選擇以StarRocks構建統一資料服務入口的實踐,為同型別券商企業提供了以下經驗建議:

1)  分析型資料庫的選型需要充分考慮企業自身的用數需求,以及現有資料平臺的技術架構,選擇符合自身實際情況的資料庫是獲得較好的落地效果的關鍵。例如,中信建投大部分的資料都儲存在Hive中,StarRocks提供的類Presto的外表查詢功能可以避免資料遷移增加的額外成本,同時也很好地滿足了公司的用數需求。

2)  隨著企業資料庫規模不斷增長,以及分析場景更加複雜,分析型資料庫需要不斷提升資料查詢分析的效能,以及針對固定報表、自助BI等各種應用場景,提供場景化解決方案、生態工具,才能滿足使用者在資料查詢分析方面功能和效能的複雜需求。

 

3.    圖資料庫

3.1傳統資料庫關係查詢能力不足,圖資料庫及相關解決方案加速業務洞察

在各行各業中都存在著諸多依賴個體屬性及其之間關聯資訊的場景,例如社交網路、金融風控、營銷等,需要對單體之間的關係進行識別,並對其特點進行研究。然而,要在海量的資料中,發掘個體之間隱藏的聯絡,是項很複雜工作,這為企業帶來了新的挑戰。具體而言,企業在關聯關係的探索上,存在以下難點或需求:

  •      傳統的關係型資料庫對資料關聯關係查詢的支援有限。對於一些簡單的關聯關係查詢,企業通常可以採用傳統的關係型資料庫解決,但關係型資料庫在進行關聯資訊檢索時需要執行多個表的連線操作,在資料關係較複雜時,會出現操作繁瑣,且效能嚴重不足,導致無法查詢結果的問題。因此,關係型資料庫在實際應用中只能執行一二度簡單關係的查詢,而不具備複雜關係查詢的能力。
  •      企業缺少相關分析工具和解決方案來對關聯資料進行挖掘分析。在具體應用場景中,關聯關係的查詢分析,除了需要底層資料庫引擎的支撐,通常還需要結合領域知識,將關聯關係轉換為知識見解,幫助業務決策。此外,對於一些複雜的查詢分析,還需要一些AI演算法來加速獲取結果。

為了解決企業在資料關係探索上的難題,針對資料關係進行高效儲存和計算的圖資料庫獲得了企業的青睞。作為典型的非結構化資料解決方案,圖資料庫將關聯資料的實體作為頂點儲存,關係作為邊儲存,突破了資料複雜關聯儲存查詢造成的效能瓶頸。同時,知識圖譜,以及圖分析演算法也為圖資料的挖掘分析起到關鍵作用。圖資料庫及相關的解決方案具體包括如下三方面的內容:

圖6:圖分析解決方案賦能資料關係洞察

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

  •      高效能圖資料儲存與處理引擎。圖資料庫以圖模型儲存資料,最大能高效地儲存萬億點邊的資料,有效承載了企業沉澱的海量關係資訊。藉助優秀的關係傳導能力,圖資料庫能夠實現高效的多跳查詢,以此發掘關係型資料庫無法發現的深度關係;
  •      圖演算法支援高效的資料關係挖掘。藉助圖演算法,使用者能夠實現海量資料探勘和複雜關係分析,例如最短路徑,社交網路中心性、社群檢測、社群特徵、相似性和分類等常用的圖演算法,能夠幫助使用者在紛繁複雜的資料中發現有價值的資訊,輔助進行業務決策;
  •      知識圖譜平臺支援場景應用。為了賦能業務場景,企業在具備圖資料庫引擎的基礎上,還需要構建知識圖譜平臺,將圖的關聯關係轉化為知識,從而形成業務洞察。通常,知識圖譜平臺需要具備兩大關鍵的能力:1)知識圖譜構建,即利用圖譜構建工具,實現知識抽取、知識表示和知識融合,從而構建知識圖譜;2)知識推理計算,即透過推理計算引擎,結合行業知識,發現知識中的顯性或隱性關係。

案例3:民生銀行基於圖資料庫構建知識圖譜應用平臺,透過圖分析盤活資料資產

作為頭部股份制商業銀行,民生銀行始終堅定踐行“民營企業的銀行、敏捷開放的銀行、用心服務的銀行”的戰略定位,高度重視數字化轉型,主動融入數字中國建設,著力在“生態銀行”和“智慧銀行”兩大領域實現突破和提升,致力於為客戶提供專業特色的現代金融服務。

隨著金融行業數智轉型的程式加快,銀行業務資料量出現爆炸式增長,對金融行業的資料處理能力提出了更高要求。同時,面向海量資料的充分沉澱,挖掘資料資產的潛在價值,釋放蘊藏在資料要素中的生產力變得至關重要。對於民生銀行而言,全行業務場景眾多,由此積累了規模龐大的賬戶資料,也帶來了豐富的使用者關係資訊。在此基礎上,如何選擇新的資料庫進行技術革新,賦能業務實現資料驅動的決策,成為民生銀行內部一項重要的發展課題。具體而言,民生銀行需要採用新的資料技術解決以下難題:

1)  對大規模的業務資料進行高效的關聯關係分析與挖掘。風險控制和營銷作為銀行兩大重要業務發展手段,需要對海量使用者資料進行深度關聯關係挖掘,以識別潛在風險、瞭解客戶偏好。在傳統的關係型資料庫中,資料被儲存在二維表中,使用關係模型檢索需要執行多個表的連線操作,在深度關係挖掘能力與資料處理效能上表現嚴重不足;

2)  對行內資料拉通整合,進行統一的查詢分析。民生銀行內部各個業務系統較為多元,但是未在資料層面打通,各個業務之間相對獨立,並未建立關聯關係。此外,業務人員缺少統一的應用平臺對多元化的業務進行全域性聯通分析,資料管理分散,無法站在全域性的視野分析業務變化,進行實時決策;

3)  底層資料基礎設施的研發難度和成本較大,需要在解決技術難題的基礎上滿足大型企業要求的高可用、多租戶、許可權管理等能力需求。此外,隨著國家信創政策日益嚴格,金融業作為國家經濟命脈,必須充分實現關鍵資料基礎設施的國產化,具備資料庫系統的安全可控性,保障資訊保安。

基於Galaxybase圖資料庫構建知識圖譜應用平臺,賦能銀行業務升級

數字化轉型需求驅動下,民生銀行需要挖掘資料關聯關係,發揮數字資產價值,更好地提升風控、營銷等核心業務能力。因此民生銀行決定透過招標建設知識圖譜應用平臺,透過綜合考慮大規模的關聯關係查詢、多元化資料拉通整合、底層技術自主可控以及廠商技術領先性和實踐經驗等因素,最終創鄰科技從眾多圖資料庫廠商中脫穎而出。

創鄰科技是國內領先的商業化高效能分散式圖資料庫供應商,在分散式資料儲存、大資料並行處理、圖挖掘等領域有業界領先的技術儲備。創鄰科技聚焦金融板塊,目前已成功服務五大行、頭部股份制銀行以及城商行、農商行等企業使用者,核心產品Galaxybase國產高效能圖平臺已累計支援數萬億點邊的大型金融圖譜應用,效能國際領先。

圖7:基於Galaxybase圖資料庫構建的“永珍”知識圖譜應用平臺

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

在創鄰科技的幫助下,民生銀行以大資料、人工智慧技術為基礎,引入Galaxybase圖資料庫構建“永珍”知識圖譜應用平臺,提供資訊展示和互動式分析,具備本體建模、圖譜構建、圖譜挖掘、知識服務的一站式全流程應用能力,助力民生銀行業務升級。具體而言,基於Galaxybase圖資料庫的“永珍”知識圖譜應用平臺使民生銀行具備了以下能力:

1)藉助Galaxybase圖資料庫的圖譜視覺化和關係挖掘能力,民生銀行能夠基於圖譜對各類資訊拉通聚合,進行關聯關係挖掘,提供資訊展示和互動式分析功能。以構建企業全息圖譜為例,透過引入行外的全量工商、司法、智慧財產權等複雜資料且對企業的多重關係進行分析和挖掘,能夠實現關聯資訊的高效聚合,直觀呈現複雜客戶關係網路,簡化業務分析難度。

2)圖技術的形態識別和關係傳導能力可以在反欺詐業務中發揮重要作用,依託Galaxybase圖資料庫所具備的實時資料處理與圖構建能力,“永珍”知識圖譜平臺能對信貸申請件資料進行實時組網,透過裝置資訊、地理位置資訊、黑樣本、轉賬等關聯關係識別定位欺詐團伙,並且結合傳統欺詐特徵和網路特徵進行機器學習對申請條件評分,有效識別欺詐申請,進行及時預警,實時攔截欺詐風險,避免欺詐損失。

3)基於圖神經網路的知識推理,“永珍”知識圖譜平臺能夠提升銀行的營銷能力。透過對涵蓋個人客戶的銀行客群建立經營分析圖譜,“永珍”知識圖譜平臺可以基於使用者關係鏈進行社群關係推理,利用種子賬戶所在社群觸達全新使用者並實現拉新,由社群觸達的新成員,還能夠以不同的速度、方式和幅度進行裂變傳播,有效解決傳統客戶管理系統獲客難的問題,達成“快速實現賬戶增長,低成本輕鬆獲客”的目標。

為了滿足資料聯通整合的需求,民生銀行基於Galaxybase圖資料庫對行內外跨部門、跨產品、跨業務線中的實體及後設資料資訊進行了整合。同時,平臺配備視覺化圖分析平臺,業務人員無需程式設計技能即可透過視覺化圖形配置介面構建知識圖譜、部署圖演算法、執行計算並展示結果。

此外,Galaxybase圖資料庫具備企業級特性,透過主備叢集能力支援資料庫高可用,並且提供企業級的運維管理和安全監控能力,支援點邊型別和屬性的細粒度許可權管理。在信創方面,Galaxybase圖資料庫為國產自研產品,能夠滿足金融行業對資料技術安全自主可控的要求。

“永珍”知識圖譜平臺落地後的效果與價值

第一,  打破資料孤島,支撐海量資料的實時分析與關聯價值挖掘。透過構建“永珍”知識圖譜應用平臺,民生銀行能對行內外跨部門、跨產品、跨業務線中的實體及後設資料資訊進行整合,構建多觸點、全維度的視覺化關聯資訊圖譜,提供360°全景視覺化檢視,破除資料孤島。同時,“永珍”知識圖譜平臺底層採用的分散式架構支援動態線上擴容,新進的業務資料也能夠實時入網,業務人員能夠結合不同的場景利用知識圖譜進行實時決策。

第二,  圖譜視覺化技術為使用者提供業務全流程資料關係展現。“永珍”知識圖譜平臺能夠為業務系統輸出圖查詢、關聯和計算能力,同時為業務分析人員提供全息圖譜,提升內外資料關聯分析能力;針對研發人員,則提供資料關聯關係分析平臺,分析挖掘環境更加便利,可實現便捷的視覺化建模。最後,“永珍”知識圖譜平臺能夠為業務沉澱出一系列視覺化資料產品,實現全流程業務能力升級。

第三,  強勁的多跳查詢效能幫助銀行實現實時深挖隱藏關聯關係。依託於Galaxybase原生分散式並行圖資料庫可以極快地處理複雜的多跳關聯關係,“永珍”知識圖譜應用平臺能夠對於銀行的海量業務資料進行多跳查詢,挖掘查詢資料間的異常關聯關係,因此能夠快速對傳統方法不能找到的風險進行預判和警報,完美契合銀行的反洗錢、反欺詐、對公信貸等業務。

專案經驗總結

在數字經濟時代,為了實現資料價值的充分釋放,就需要將資料進行關聯,從單純的資料管理轉變為資料關係的挖掘、分析和利用。民生銀行引入創鄰科技Galaxybase圖平臺建設知識圖譜應用平臺的實踐,為同型別的業務場景提供了以下圖資料庫及相關應用的選型和使用經驗:

1)關注圖資料庫底層技術支撐能力。銀行業務數字化的快速發展一定會造成行內資料量爆發式增長,銀行企業在選擇圖資料庫時一定要考慮在超大資料規模下的底層資料庫支撐能力,要能夠在不降低查詢和計算效能的情況下高效實現知識圖譜的構建;同時,對於關聯關係的深度挖掘,銀行企業需要關注圖資料庫的多跳查詢效能,能夠實時挖掘複雜關係是關鍵。

2)重視信創政策,推進底層國產化替代。對於金融機構而言,實現底層資料基礎設施的國產化有助於保證整體系統安全穩定地執行,而且資料庫及其配套應用需要不斷迭代和適配來滿足未來業務場景的擴充,建議各銀行在招標過程中將圖資料庫的國產技術和圖應用解決方案綜合實力納入考慮,旨在減少後續更換底層資料庫的潛在風險和成本。

4.    超融合資料庫

4.1企業多元化快速發展,超融合資料庫在單一技術棧上滿足各業務需求

在數字化轉型的驅動下,中大型企業在複雜多樣的業務場景下沉澱了海量多源異構的資料,而且由於業務持續擴張增長的趨勢,部分企業需要不斷加強數字化建設的力度來匹配業務的發展速度。在這種情況下,中大型企業現有的資料庫解決方案在企業需求的增長下變得愈發難以為繼。具體而言,業務的極速發展和數字化帶來資料規模膨脹、資料型別多樣化使得現有的資料庫設施遇到了以下方面的難題:

圖8:大資料量、多資料型別帶來的資料庫使用問題

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

1. 承載資料型別有限。業務場景的擴充帶來了更加複雜的資料型別,企業需要對異構的資料進行高效儲存以便後續查詢分析,而傳統的關係型資料對非結構化資料的承載能力有限。透過引入專用的非結構化資料庫,企業雖然可以儲存與之相對應的非結構化資料,但是卻造成資料庫系統分散獨立的情況,難以統一維護管理,從而帶來額外的運維成本。

2. 海量資料查詢遇到資料庫效能的瓶頸。隨著大型企業快速發展帶來的資料規模膨脹以及查詢複雜度的提升,原有資料庫在響應速度上難以滿足企業實時查詢分析的需求,從而導致業務運轉停頓或無法進行資料決策。

為了解決企業在業務快速發展過程中遇到的多資料型別和效能方面的難題,超融合資料庫是在核心層面採用模組化和外掛化的架構,透過插拔不同型別的資料引擎,實現對不同模型資料進行處理能力的資料庫。超融合資料庫能夠支援使用者在一套系統中統一處理關係、圖、時序、文件等多種模型的資料,簡易的架構不會為企業增加過多的運維管理成本。同時,超融合資料庫具備與常見的專用資料庫或大資料引擎同等或更好的效能表現。具體而言,超融合資料庫為企業帶來了以下優勢:

圖9:超融合資料庫支援多型別資料,單一架構簡化運維

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

1. 支援多種型別資料。超融合資料庫在單一架構上實現了多模態資料的融通管理,透過部署適用於不同資料型別的儲存和計算引擎,超融合資料庫實現了多種異構資料,例如結構化資料、時序資料、圖資料等,的統一寫入、儲存和管理。

2. 簡化運維。超融合資料庫採用創新性架構,利用模組化的引擎來支援不同型別資料的儲存和計算,避免了引入多種專用資料庫造成系統冗餘的情況。此外,超融合資料庫使用統一的應用訪問介面和最佳化器簡化系統架構,在有效支撐業務發展的前提下,極大減少了資料庫的運維成本。

3. 查詢分析效能提升。超融合資料庫相比常見的大資料引擎具備更強的效能表現,在單表查詢、複雜SQL運算等能力上均有顯著的提升。此外,超融合資料庫還針對不同型別資料的處理需求進行最佳化,以獲得比常見專用資料庫更強的效能表現。總體而言,強勁的效能表現能夠縮短資料庫服務響應時間,能夠使業務執行更加流暢,及時支撐實時決策。

案例4:某新能源頭部製造企業基於超融合資料庫打造“資料湖倉平臺”,支撐企業高速發展

伴隨近年來新能源汽車在全球範圍內的銷量劇增,處於新能源汽車產業鏈重要位置的國內某頭部製造企業也迎來了業務的快速發展。為了提高產能,並降本增效,該企業需要不斷加強數字化建設,以支撐全球產品溯源追蹤、生產及售後運營分析、裝置預測性維護等多項業務。

然而,隨著該企業業務規模的迅速擴張,其需要處理的資料規模急劇膨脹,資料型別也比以往更加複雜,導致該企業原先基於MySQL、Greenplum構建的資料庫系統面臨顯著的效能和功能瓶頸,也給該企業的業務開展帶來以下挑戰:

1)原有數倉叢集遭遇效能瓶頸,維護擴容複雜,難以應對業務快速增長需求。

隨著業務的快速擴充套件,帶來資料規模的快速增長,以及查詢複雜度快速提升,原有叢集的 CPU 使用率長期維持高位執行,導致計算和查詢作業長時間排隊,致使業務間歇性卡頓,部分大型報表的等待時間甚至超過30 分鐘,嚴重影響了業務的執行效率和使用體驗。另一方面,原有數倉平臺的擴容也需要伴隨較長時間的停機等待,同時不支援資料的分層儲存管理,這使得對原有平臺進行不斷擴容,在時間和成本上都不可持續。

2)智慧製造亟待擴充複雜時序處理及分析能力。

該企業作為大型製造業集團,也在積極探索智慧製造的轉型創新,而首要的是對廣大的生產裝備進行數字化升級,這帶來廣泛的 IoT 場景需求。在其整體資料結構中,除了由常見的 MES、ERP 系統所產生的關係型資料,還有由數採單元面向裝置、物料和流程採集到的時序、GIS 等型別資料,比如涵蓋近百個指標的生產製造裝置工況資料、已售出產品的執行資料以及歷史維修資料等。目前架構中是透過 MySQL 和 Greenplum 來承載時序資料,但 MySQL 及 Greenplum 並不具備專門針對時序場景的強化特性及功能,資料承載力和查詢能力都十分有限:

 寫入效能:無法承載超大裝置帶來的海量資料寫入負載;

 寫入功能:無法支援動態、亂序、延遲寫入,以應對複雜工況下的資料產生環境;

 查詢能力:點查詢效能有限,沒有視窗查詢、庫內機器學習等。

3)資料量倍數增張,總部中心叢集負載壓力大

目前,該企業集團在全國擁有數十家分支生產基地,每個生產基地的產線系統都需要高效能及可靠穩定的資料管理系統。面向未來,預期整個集團將持續以倍數級擴充產能,產線資料量將翻倍增長,對資料管理的承載力、效率、成本和易用性都提出了更高標準。

目前所有資料直接進入總部,對總部叢集造成很大負載壓力。除了持續擴容外,在不增加太多運維複雜度的基礎上,客戶迫切希望建立一套總分結合的“總部(雲)+工廠(邊)”協同架構,在增強整體資料承載能力的同時,也最佳化各子公司的資料平臺能力,實現對整體資料管理與治理能力的升級。

基於超融合資料庫,實現一套系統滿足企業多種型別資料儲存與處理需求

為了滿足對大規模、多源異構資料的儲存與處理需求,該企業需要引入新的資料基座來替換原先的MySQL、Greenplum資料庫。在此過程中,該企業考慮過Hadoop技術棧,但基於Hadoop技術棧滿足業務需求,需要同時構建非常複雜的開發和運維體系,成本過高。

由於YMatrix超融合資料庫具備高效能、支援多種資料型別、運維簡單等優勢,便成為了該企業的的最終選擇。

YMatrix成立於 2020 年,是一家創新型基礎軟體公司,致力於物聯網時代新一代資料基礎設施軟體的研發,並提供相關產品、解決方案及一站式商業服務。公司在業界率先提出超融合資料庫理念,併發布了 YMatrix 超融合資料庫,基於獨創的多微核心開放架構,在單一資料庫之上,實現多模態資料的融通管理,及全場景查詢分析的統一支援。YMatrix超融合資料庫可面向物聯網應用、工業網際網路、智慧運維、智慧城市、智慧家居、車聯網等場景,提供架構簡潔、功能豐富的資料基礎設施,並已在多家行業頭部公司成功實現商業化落地。

圖10:某新能源頭部製造企業基於超融合資料庫打造的“資料湖倉平臺”

化繁為簡,數字化推動企業資料庫升級煥新 | 愛分析報告

YMatrix超融合資料庫在該企業內替代了原先的MySQl、Greenplum等資料庫,在支援多種型別資料的儲存、彙集與管理的同時,透過全面的功能承接了各類業務需求。具體而言,YMatrix超融合資料庫的以下功能特性解決了該企業此前存在的各種問題:

1)支援多種資料。由YMatrix超融合資料庫承建資料湖倉平臺,對接產線MES系統、ERP系統及給型別生產裝置數採系統等,將TP業務資料、時序資料、GIS資料、JSON文字資料,以及過去的歷史資料等等多種資料,統一進行寫入、儲存、管理,支援資料亂序、延遲寫入,支援ACID以確保資料完整性;

2)提供統一的查詢。YMatrix超融合資料庫透過標準SQL提供多型別資料查詢,在資料湖內實現資料的跨型別聯合分析,而無需再並行建設專門的技術棧;

3)支援庫內機器學習。YMatrix超融合資料庫支援庫內機器學習建模,可代替Flink + Spark,使演算法建模及計算在YMatrix叢集內實現,無需大規模的資料ETL過程,大幅簡化系統架構,且效能大幅提升,演算法分析工作效率提升10倍;

4)較高的查詢效能。YMatrix超融合資料庫針對寫入和分析等重點領域進行了多達138項深度的指令級的最佳化,能夠在單表查詢、多表關聯分析、時序資料查詢等常用場景上獲得比主流專用資料庫更高的效能。

5)簡化運維。YMatrix超融合資料庫技術架構簡化靈活,運維人員需要管理的技術棧變少,因此從根源上降低了其運維複雜度。同時,YMatrix超融合資料庫提供大量圖形化及自動化的運維能力,包括:線上擴容、自動資料平衡、資料生命週期管理、運維監控等,幫助使用者降低操作門檻、獲得更好的使用體驗以及更加自動化的作業能力。

此外,為了降低總部中心叢集負載壓力,YMatrix為該企業建設了邊緣數倉,即在分支工廠部署獨立數倉平臺,承載工廠的 MES、ERP、PLM 等各系統資料,完成這些生產資料在本級的資料歸集,同時進行預處理查詢分析,篩選出符合總部需要的資料後再上傳總部叢集。新構建的“總部(雲)+ 工廠(邊)”協同架構,在強化本地資料就近處理的能力之上,有效降低了集團叢集的負載,為後期業務的長期穩定執行及良性擴充套件奠定架構基礎。

超融合資料庫落地後的價值與效果

第一,  效能大幅提升,為應對業務量大規模擴張奠定基礎。在使用YMatrix超融合資料庫後,該企業解決了原有叢集效能不足、擴容伺服器耗時長、報表查詢等待過久等各項問題,查詢耗時最高縮短79%,為平臺支撐的各項業務服務體驗提供充沛的效能支援。

第二,  為數智化創新提供新一代通用資料基座,並提供更友好的使用體驗,大幅降低運維複雜度。透過 YMatrix超融合資料庫,支援多模態資料的全場景查詢分析需求,能夠服務企業級使用者未來 5-10 年可能存在的需求,幫助該企業避免了產品疊加或技術架構反覆調整帶來的技術風險和不必要成本。同時,YMatrix超融合資料庫透過資料超融合能力大幅精簡了系統架構,並供大量圖形化及自動化的運維能力,從而降低了資料庫的運維複雜度,讓使用者工作更加專注,作業更加高效。

第三,  資料管理成本獲得有效控制,同時降低總部叢集的壓力。YMatrix超融合資料庫在為⼤資料平臺帶來了上述最佳化與新功能的同時,在保證效能滿⾜需求的前提下,使得該企業每年在資源上的成本開銷減少了⾄少30%。同時,透過搭建更科學經濟的“總部(雲)+ 工廠(邊)”協同架構,減少資料傳輸成本的同時,降低因組織結構龐大、產能持續壯大給總部叢集帶來的壓力。

專案經驗總結

當前,中國正在從“製造大國”向“製造強國”轉型,與此同時,一批代表著戰略新興行業方向的製造業企業在市場需求以及政策推動下,正處在高速發展過程中。為了實現這樣的目標,數智化在其中將會起到關鍵支撐作用。我們認為,上述新能源頭部製造企業與YMatrix合作的案例,可以為同樣處於快速發展階段的製造業企業帶來以下借鑑意義:

第一,  資料基座的選型需要超前考慮中長期的業務發展需求。隨著企業業務的快速發展,企業內部資料量必然迅速增長,資料型別也將變得更加複雜。由於資料庫等基礎設施的遷移是項成本非常高昂的工作,企業在選型時需要充分評估未來5-10年的業務需求,選擇能夠應對中長期資料儲存和處理需求的資料基座。

第二,  為避免傳統方案複雜的開發和運維,企業可以考慮創新性的超融合資料庫。儘管市場上有一些大資料方案能夠滿足企業各類複雜的資料儲存和處理需求,如Hadoop技術棧,但面對企業複雜的需求,其開發和運維也非常複雜。超融合資料庫在簡化系統架構的同時,具備支援多種資料型別、效能高、運維簡單等優勢,是處於快速發展階段的企業非常理想的選擇。

5.    結語

從本報告所挑選的多個案例中,我們可以看到,看似已經非常成熟的資料庫市場,在各個細分方向一直在適應企業不斷變化的需求,往更強的效能、更豐富的功能,更簡化的使用和運維的方向進化,並且這個趨勢還在延續當中。

而對於每個企業而言,當它們在對資料基礎設施進行規劃,對資料庫升級換代時,需要結合企業內部情況權衡多方面的問題。既要對業務需求進行全域性思考,選擇能夠適應企業未來發展的技術架構,也要結合企業現階段資料基礎,滿足在效能、功能、運維等各方面要求的同時,選擇成本更低、使用更簡單的資料庫方案。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69993021/viewspace-2932134/,如需轉載,請註明出處,否則將追究法律責任。

相關文章