星環雲原生資料湖,為企業精準決策提供全方位技術支撐

星環科技發表於2021-12-17

隨著資料價值由資料統一化逐漸到資料生態化演進,企業對資料平臺的需求越來越高,許多企業面臨內部資料孤島等現狀,需要全集團統一的、可共享的資料平臺,來推進建設統一的資料平臺,構建資料驅動業務的數字化轉型戰略,為企業管理和決策提供資料基礎與分析能力保障,助力企業發展。


資料湖作為支撐企業數字化轉型的資料底座,能夠為企業提供 資料驅動、精準決策等全方位技術支撐,因此 企業級資料湖的建設,是資料價值逐漸釋放的基礎,是企業數字化戰略轉型的關鍵。


星環雲原生資料湖,為企業精準決策提供全方位技術支撐


企業建設資料湖一個重要的目標是,面向企業各個事業部、子公司,建設統一資料湖, 用來統一整合企業內、外部各類業務系統資料,保障企業資料全面性和唯一性,以及統一管理內外部資料資產,形成企業統一資料治理標準及規範,加強資料安全管控及資料安全。

基於TDC的資料湖整體方案

星環雲原生資料湖,為企業精準決策提供全方位技術支撐

一個完整的資料湖解決方案需要建立在資料接入、資料儲存、資料計算、資料應用、資料治理、後設資料、資料質量、資料資源目錄、資料安全及資料審計等一些列技術之上。市場上的資料湖解決方案多數只具備部分能力,給企業建設資料湖帶來障礙。

基於星環科技資料雲平臺 Transwarp Data Cloud(TDC)、星環大資料開發工具 Transwarp Data Studio (TDS)等產品的星環資料湖解決方案, 能夠一站式解決企業從建湖到管湖全部過程,為企業管理和決策提供資料基礎與分析能力保障,助力企業發展。

在資料入湖階段,星環科技大資料整合工具 Transporter 負責將分散於各個地方、各種平臺上的各種格式的資料同步或整合到大資料平臺上。而星環大資料基礎平臺 Transwarp Data Hub (TDH ) 內建 8 種獨立的儲存引擎,支援業界主流的 10 種儲存模型,解決資料湖需要的結構化、非結構化、半結構化資料儲存能力。在資料治理、後設資料、資料質量、資料資源目錄等能力上,星環科技提供了集開發與治理為一體的一站式工具平臺 TDS,提供了資料開發、資料整合、資料管控、資料商城和資料服務等能力。

基於 TDC 建設資料湖的基礎架構設計

TDC 資料雲平臺的資料湖基礎架構,核心理念是以多租戶的形式,承載整整個集團的資料業務。


星環雲原生資料湖,為企業精準決策提供全方位技術支撐


包括 集團級中心資料湖、主題庫和資料集市,以及事業部、子公司等獨立租戶,同時可為任何組織部門按需提供資料沙箱,基於集團資料湖資料進行二次資料探索和分析。

TDC 資料湖解決方案在銀行的最佳實踐

以銀行客戶為例,某銀行需要部署一個資料湖,並需要將公共的資料放在資料湖租戶中,用資料湖來承載集團的全部資料,並由集團 IT 部統一管理。允許各子公司、事業部、各個部門有條件使用該資料。

同時,因為銀行資料湖業務負載有潮汐差異性,為了更好的響應業務的處理要求,在業務繁忙時,希望能自動調整配置,以響應業務負載,當業務負載下降時,能及時減少資源配置,以將資源給其它租戶或應用使用,這其中涉及計算單元的自動彈性伸縮。此外,該銀行的資料量每天會有一定量的增加,需要定時擴容。

根據上述背景, 我們可以將客戶的關鍵需求總結為:

規劃多租戶,由獨立的租戶承建資料湖,保證資料湖的隔離性;配置資料湖的自動彈性擴充套件能力;資料湖計量,為了方便對每個租戶進行成本管理或企業內部計算,需要對各個租戶使用的資源進行計量和計費。

星環科技資料雲平臺 TDC 支援不同的作業系統和 CPU 架構,可以採用圖形化的方式部署和配置異構叢集。在 TDC 之上,該銀行部署資料湖,我們提供了一套圖形化嚮導方式,一步一步幫助銀行完成各項選擇和配置。

針對該銀行的資料湖需求,基於星環資料雲平臺 TDC 做了如下工作:

為該銀行建立兩個租戶,一個為存放公共資料的資料湖租戶 datalake,一個為使用資料湖資料的租戶marketing;

將租戶datalake設定為共享租戶;

開啟租戶datalake的 TDFS 元件的資料共享;

在租戶下 datalake下部署一個例項datalake_1,並開啟元件 TDFS 的共享;

開啟 datalake_1 例項的彈性伸縮功能;

在租戶 marketing 下部署一個例項 marketing_1,引用租戶 datalake 的 TDFS 元件;

資料湖與多個資料租戶是一種協同分層解決方案。TDC 的租戶是指一個包括資源、應用和資料的隔離, 租戶之間相互獨立,完全隔離,同時能夠透過安全可控和共享模組的配置,實現資源、資料、應用的跨租戶共享。透過共享租戶在資料湖中實現資料、平臺、工具和模型的統一,透過隔離實現每個部署空間的獨立性、安全性。

資料湖租戶設定為共享租戶,透過將資料儲存TDFS元件開放並共享出來。需要共享的資料、工具、模型都放在一個租戶中,設為共享租戶,其他租戶可以檢視或使用該租戶共享出來的資料。資料湖的多租戶規劃即為 將資料湖租戶設定為共享租戶,其他租戶建設自己的資料倉儲時可檢視並選擇該共享元件,這樣其他租戶即可依賴資料湖租戶共享出來的 TDFS,實現資料的共享。

基於星環科技 TDC 建設的資料湖,承載了該銀行集團的全部資料,並由集團 IT 部統一管理。允許各子公司、事業部、各個部門有條件使用該資料,實現了資料的集中治理以及安全的共享交換。

目前,星環科技新一代智慧資料雲平臺 Transwarp Data Cloud(TDC)已經在眾多行業有成熟的全方位解決方案落地, 滿足了各種資料處理場景的需求,實現了企業資料與應用的生態化建設。未來星環將在資料雲領域持續深耕,助力企業不斷提升大資料能力,引領企業數字化轉型升級浪潮。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2848324/,如需轉載,請註明出處,否則將追究法律責任。

相關文章