星環雲原生資料湖,為企業精準決策提供全方位技術支撐
隨著資料價值由資料統一化逐漸到資料生態化演進,企業對資料平臺的需求越來越高,許多企業面臨內部資料孤島等現狀,需要全集團統一的、可共享的資料平臺,來推進建設統一的資料平臺,構建資料驅動業務的數字化轉型戰略,為企業管理和決策提供資料基礎與分析能力保障,助力企業發展。
資料湖作為支撐企業數字化轉型的資料底座,能夠為企業提供 資料驅動、精準決策等全方位技術支撐,因此 企業級資料湖的建設,是資料價值逐漸釋放的基礎,是企業數字化戰略轉型的關鍵。
企業建設資料湖一個重要的目標是,面向企業各個事業部、子公司,建設統一資料湖, 用來統一整合企業內、外部各類業務系統資料,保障企業資料全面性和唯一性,以及統一管理內外部資料資產,形成企業統一資料治理標準及規範,加強資料安全管控及資料安全。
基於TDC的資料湖整體方案
一個完整的資料湖解決方案需要建立在資料接入、資料儲存、資料計算、資料應用、資料治理、後設資料、資料質量、資料資源目錄、資料安全及資料審計等一些列技術之上。市場上的資料湖解決方案多數只具備部分能力,給企業建設資料湖帶來障礙。
基於星環科技資料雲平臺 Transwarp Data Cloud(TDC)、星環大資料開發工具 Transwarp Data Studio (TDS)等產品的星環資料湖解決方案, 能夠一站式解決企業從建湖到管湖全部過程,為企業管理和決策提供資料基礎與分析能力保障,助力企業發展。
在資料入湖階段,星環科技大資料整合工具 Transporter 負責將分散於各個地方、各種平臺上的各種格式的資料同步或整合到大資料平臺上。而星環大資料基礎平臺 Transwarp Data Hub (TDH ) 內建 8 種獨立的儲存引擎,支援業界主流的 10 種儲存模型,解決資料湖需要的結構化、非結構化、半結構化資料儲存能力。在資料治理、後設資料、資料質量、資料資源目錄等能力上,星環科技提供了集開發與治理為一體的一站式工具平臺 TDS,提供了資料開發、資料整合、資料管控、資料商城和資料服務等能力。
基於 TDC 建設資料湖的基礎架構設計
TDC 資料雲平臺的資料湖基礎架構,核心理念是以多租戶的形式,承載整整個集團的資料業務。
包括 集團級中心資料湖、主題庫和資料集市,以及事業部、子公司等獨立租戶,同時可為任何組織部門按需提供資料沙箱,基於集團資料湖資料進行二次資料探索和分析。
TDC 資料湖解決方案在銀行的最佳實踐
以銀行客戶為例,某銀行需要部署一個資料湖,並需要將公共的資料放在資料湖租戶中,用資料湖來承載集團的全部資料,並由集團 IT 部統一管理。允許各子公司、事業部、各個部門有條件使用該資料。
同時,因為銀行資料湖業務負載有潮汐差異性,為了更好的響應業務的處理要求,在業務繁忙時,希望能自動調整配置,以響應業務負載,當業務負載下降時,能及時減少資源配置,以將資源給其它租戶或應用使用,這其中涉及計算單元的自動彈性伸縮。此外,該銀行的資料量每天會有一定量的增加,需要定時擴容。
根據上述背景, 我們可以將客戶的關鍵需求總結為:
規劃多租戶,由獨立的租戶承建資料湖,保證資料湖的隔離性;配置資料湖的自動彈性擴充套件能力;資料湖計量,為了方便對每個租戶進行成本管理或企業內部計算,需要對各個租戶使用的資源進行計量和計費。
星環科技資料雲平臺 TDC 支援不同的作業系統和 CPU 架構,可以採用圖形化的方式部署和配置異構叢集。在 TDC 之上,該銀行部署資料湖,我們提供了一套圖形化嚮導方式,一步一步幫助銀行完成各項選擇和配置。
針對該銀行的資料湖需求,基於星環資料雲平臺 TDC 做了如下工作:
為該銀行建立兩個租戶,一個為存放公共資料的資料湖租戶 datalake,一個為使用資料湖資料的租戶marketing;
將租戶datalake設定為共享租戶;
開啟租戶datalake的 TDFS 元件的資料共享;
在租戶下 datalake下部署一個例項datalake_1,並開啟元件 TDFS 的共享;
開啟 datalake_1 例項的彈性伸縮功能;
在租戶 marketing 下部署一個例項 marketing_1,引用租戶 datalake 的 TDFS 元件;
資料湖與多個資料租戶是一種協同分層解決方案。TDC 的租戶是指一個包括資源、應用和資料的隔離, 租戶之間相互獨立,完全隔離,同時能夠透過安全可控和共享模組的配置,實現資源、資料、應用的跨租戶共享。透過共享租戶在資料湖中實現資料、平臺、工具和模型的統一,透過隔離實現每個部署空間的獨立性、安全性。
資料湖租戶設定為共享租戶,透過將資料儲存TDFS元件開放並共享出來。需要共享的資料、工具、模型都放在一個租戶中,設為共享租戶,其他租戶可以檢視或使用該租戶共享出來的資料。資料湖的多租戶規劃即為 將資料湖租戶設定為共享租戶,其他租戶建設自己的資料倉儲時可檢視並選擇該共享元件,這樣其他租戶即可依賴資料湖租戶共享出來的 TDFS,實現資料的共享。
基於星環科技 TDC 建設的資料湖,承載了該銀行集團的全部資料,並由集團 IT 部統一管理。允許各子公司、事業部、各個部門有條件使用該資料,實現了資料的集中治理以及安全的共享交換。
目前,星環科技新一代智慧資料雲平臺 Transwarp Data Cloud(TDC)已經在眾多行業有成熟的全方位解決方案落地, 滿足了各種資料處理場景的需求,實現了企業資料與應用的生態化建設。未來星環將在資料雲領域持續深耕,助力企業不斷提升大資料能力,引領企業數字化轉型升級浪潮。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2848324/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 從技術支撐到落地實踐 華為雲全面賦能“新雲原生企業”
- 為什麼企業全面雲化需要IT戰略支撐和驅動?
- 如何用好雲原生資料湖?
- 數字化轉型浪潮下,湖倉一體如何支撐企業走向資料智慧
- 北鯤雲如何為企業提供混合雲解決方案
- 看SparkSql如何支撐企業數倉SparkSQL
- 企業日常管理活動支撐平臺
- 化工行業SaaS多租戶管理平臺支撐精準營銷,滿足企業多元化發展需求行業
- 華為雲大資料BI解決方案,如何幫助企業精準營銷大資料
- 騰訊雲TDSQL-C雲原生資料庫技術SQL資料庫
- 醫院怎樣實現資訊化轉型?F5提供技術支撐
- 決策革命下支撐資料+演算法的背後是什麼?演算法
- 創新支撐網路安全西電捷通8項技術被立為國際標準
- 中國大資料技術精銳企業圖譜大資料
- MSTP技術支撐大客戶專線——VecloudCloud
- 技術分析:AnalyticDB強力支撐雙11
- 鐳速雲傳企業網盤為外貿行業提供解決方案行業
- 大資料如何助力企業決策?大資料
- 員工溝通與協作技術成為企業預期開支增加榜單TOP(附原資料表)
- 阿里云云原生資料湖分析DLA重磅釋出-資料湖管理,助力企業一站式管理OSS資料湖儲存資料阿里
- 支撐 Java NIO 與 NodeJS 的底層技術JavaNodeJS
- 首發新文創技術支撐戰略,騰訊雲用科技支援文化創新
- 重塑技術引擎 阿里落地全球最大規模雲原生實踐支撐雙11阿里
- 【案例】基於星環科技資料雲平臺TDC為富國基金建設萬能的資料湖
- 為什麼雲MES是企業技術的未來?
- 雲原生資料庫夯實企業數字新基建資料庫
- 數字福建中小企業雲落地 青雲QingCloud提供獨家技術支援GCCloud
- 智慧時代,企業需要怎樣的計算力支撐?
- 人工智慧的興起為醫療產業發展提供重要支撐人工智慧產業
- 評論:企業應為Xenx虛擬技術做好準備(轉)
- 杉巖資料:從資料到洞察,如何用物件儲存支撐新型資料湖物件
- 綠盟科技蟬聯“CNNVD優秀技術支撐單位”CNN
- 湖倉一體,Hologres加速雲資料湖DLF技術原理解析
- 技術分享| 應急指揮排程平臺需要這些技術支撐
- 支撐主業 內部環境與幾大平臺建設
- 大資料正在改變企業決策方式大資料
- 致同:為客戶提供全方位專業服務
- GaussDB(for MySQL)雲原生資料庫技術演進和挑戰MySql資料庫