星環雲原生資料湖，為企業精準決策提供全方位技術支撐

隨著資料價值由資料統一化逐漸到資料生態化演進，企業對資料平臺的需求越來越高，許多企業面臨內部資料孤島等現狀，需要全集團統一的、可共享的資料平臺，來推進建設統一的資料平臺，構建資料驅動業務的數字化轉型戰略，為企業管理和決策提供資料基礎與分析能力保障，助力企業發展。

資料湖作為支撐企業數字化轉型的資料底座，能夠為企業提供 資料驅動、精準決策等全方位技術支撐，因此 企業級資料湖的建設，是資料價值逐漸釋放的基礎，是企業數字化戰略轉型的關鍵。

企業建設資料湖一個重要的目標是，面向企業各個事業部、子公司，建設統一資料湖， 用來統一整合企業內、外部各類業務系統資料，保障企業資料全面性和唯一性，以及統一管理內外部資料資產，形成企業統一資料治理標準及規範，加強資料安全管控及資料安全。

基於TDC的資料湖整體方案

一個完整的資料湖解決方案需要建立在資料接入、資料儲存、資料計算、資料應用、資料治理、後設資料、資料質量、資料資源目錄、資料安全及資料審計等一些列技術之上。市場上的資料湖解決方案多數只具備部分能力，給企業建設資料湖帶來障礙。

基於星環科技資料雲平臺 Transwarp Data Cloud（TDC）、星環大資料開發工具 Transwarp Data Studio （TDS）等產品的星環資料湖解決方案， 能夠一站式解決企業從建湖到管湖全部過程，為企業管理和決策提供資料基礎與分析能力保障，助力企業發展。

在資料入湖階段，星環科技大資料整合工具 Transporter 負責將分散於各個地方、各種平臺上的各種格式的資料同步或整合到大資料平臺上。而星環大資料基礎平臺 Transwarp Data Hub (TDH ) 內建 8 種獨立的儲存引擎，支援業界主流的 10 種儲存模型，解決資料湖需要的結構化、非結構化、半結構化資料儲存能力。在資料治理、後設資料、資料質量、資料資源目錄等能力上，星環科技提供了集開發與治理為一體的一站式工具平臺 TDS，提供了資料開發、資料整合、資料管控、資料商城和資料服務等能力。

基於 TDC 建設資料湖的基礎架構設計

TDC 資料雲平臺的資料湖基礎架構，核心理念是以多租戶的形式，承載整整個集團的資料業務。

包括 集團級中心資料湖、主題庫和資料集市，以及事業部、子公司等獨立租戶，同時可為任何組織部門按需提供資料沙箱，基於集團資料湖資料進行二次資料探索和分析。

TDC 資料湖解決方案在銀行的最佳實踐

以銀行客戶為例，某銀行需要部署一個資料湖，並需要將公共的資料放在資料湖租戶中，用資料湖來承載集團的全部資料，並由集團 IT 部統一管理。允許各子公司、事業部、各個部門有條件使用該資料。

同時，因為銀行資料湖業務負載有潮汐差異性，為了更好的響應業務的處理要求，在業務繁忙時，希望能自動調整配置，以響應業務負載，當業務負載下降時，能及時減少資源配置，以將資源給其它租戶或應用使用，這其中涉及計算單元的自動彈性伸縮。此外，該銀行的資料量每天會有一定量的增加，需要定時擴容。

根據上述背景， 我們可以將客戶的關鍵需求總結為：

規劃多租戶，由獨立的租戶承建資料湖，保證資料湖的隔離性；配置資料湖的自動彈性擴充套件能力；資料湖計量，為了方便對每個租戶進行成本管理或企業內部計算，需要對各個租戶使用的資源進行計量和計費。

星環科技資料雲平臺 TDC 支援不同的作業系統和 CPU 架構，可以採用圖形化的方式部署和配置異構叢集。在 TDC 之上，該銀行部署資料湖，我們提供了一套圖形化嚮導方式，一步一步幫助銀行完成各項選擇和配置。

針對該銀行的資料湖需求，基於星環資料雲平臺 TDC 做了如下工作：

為該銀行建立兩個租戶，一個為存放公共資料的資料湖租戶 datalake，一個為使用資料湖資料的租戶marketing；

將租戶datalake設定為共享租戶；

開啟租戶datalake的 TDFS 元件的資料共享；

在租戶下 datalake下部署一個例項datalake_1，並開啟元件 TDFS 的共享；

開啟 datalake_1 例項的彈性伸縮功能；

在租戶 marketing 下部署一個例項 marketing_1，引用租戶 datalake 的 TDFS 元件；

資料湖與多個資料租戶是一種協同分層解決方案。TDC 的租戶是指一個包括資源、應用和資料的隔離， 租戶之間相互獨立，完全隔離，同時能夠通過安全可控和共享模組的配置，實現資源、資料、應用的跨租戶共享。通過共享租戶在資料湖中實現資料、平臺、工具和模型的統一，通過隔離實現每個部署空間的獨立性、安全性。

資料湖租戶設定為共享租戶，通過將資料儲存TDFS元件開放並共享出來。需要共享的資料、工具、模型都放在一個租戶中，設為共享租戶，其他租戶可以檢視或使用該租戶共享出來的資料。資料湖的多租戶規劃即為 將資料湖租戶設定為共享租戶，其他租戶建設自己的資料倉儲時可檢視並選擇該共享元件，這樣其他租戶即可依賴資料湖租戶共享出來的 TDFS，實現資料的共享。

基於星環科技 TDC 建設的資料湖，承載了該銀行集團的全部資料，並由集團 IT 部統一管理。允許各子公司、事業部、各個部門有條件使用該資料，實現了資料的集中治理以及安全的共享交換。

目前，星環科技新一代智慧資料雲平臺 Transwarp Data Cloud（TDC）已經在眾多行業有成熟的全方位解決方案落地， 滿足了各種資料處理場景的需求，實現了企業資料與應用的生態化建設。未來星環將在資料雲領域持續深耕，助力企業不斷提升大資料能力，引領企業數字化轉型升級浪潮。