TDS 四大能力域各顯神通，構建資料湖、資料倉儲一步到位

近年來，中國數字經濟快速發展，遇上這場席捲全球的疫情更是將數字化浪潮推向前所未有的高度，數字化轉型不再是停留在理論和構想階段的一個概念性名詞，而是需要實際落地推進的新時代共識性戰略，企業或組織都在加快數字化轉型的步伐。然而，究竟什麼樣的數字化底座才能滿足企業可持續發展的需要，一直困擾著處在數字化轉型程式中的各大企業。

星環科技結合自身產品和諮詢服務的特點提出 “三個一” 的整體解決方案： 企業需要一個集約化的資料平臺底座，在此之上搭建一套常態化的精益治理體系，再疊加一個智慧化的分析運營生態，這樣才能面向企業內的技術開發人員、資料管理人員、業務分析人員以及業務應用提供一個全方位的資料支撐。

資料平臺底座提供整體的技術支撐和資料基礎以及算力保障，資料治理體系對整個從資料匯聚、生產、分析加工、使用提供架構規範性保障、形成質量管理機制，提供共享與保護機制，而分析運營生態則是提供了兩層次的內容。首先，企業要構建起基礎分析運營能力，包括定義自身的業務價值驅動框架找對業務分析點，構建BI/AI的分析能力，形成 標籤畫像、指標體系、分析模型等應用模式；其次，更為重要的是將能力運用到實際業務場景中，分析業務流程，將資料產品應用模式和分析能力結合合適的業務分析點嵌入到流程中，真正的幫助企業提升競爭力，而服務場景往往會結合業務側的改革形成一個個垂直化的解決方案，形成業務與資料的雙輪驅動。

數字化運營不是簡單的用數字參與到管理運營中，而是以數字化作為基礎連線企業運營的各個環節，連線業務、連線管理、連線夥伴、連線一切， 用數字的方式完整記錄、精準描述、預測規律、識別模式、評價優劣。這一過程中企業除了改進傳統的企業管理能力外，還需要面對新興的資料要素，培養和鍛鍊自身對資料資產的開發能力、管控能力、分析服務能力以及資產運營能力，只有提升了這四項能力才能將數字化底座變得可用、好用、慧用。

星環大資料大開發工具Transwarp Data Studio（TDS ） 提供資料 整合、儲存、治理、 建模、分析、挖掘和服務等資料處理全生命週期的企業級管理能力，結合星環極速大資料平臺Transwarp Data Hub，能夠提升企業構建 資料中臺、資料倉儲、資料湖等系統的效率，更高效的實現資料的資產化和資料業務化。TDS 當前已完成四大能力域的基礎產品佈局，並在客戶現場實施中進行了初步驗證，下面分別從這四個方面談一下已完成的功能及即將推出的亮點：

資料資產開發能力域

企業針對資料資產的開發不僅包括資料的採集、儲存、加工，也包括分析、建模、數字產品；而資料資產開發的管理目標則是包含了對這些方面的接入、協同、管控的全流程管理。當前依託於基礎大資料平臺元件， 已實現了大資料平臺多模資料來源的對接、指令碼開發、測試執行、作業排程、ETL配置等基礎功能，同步在指令碼開發中內建了智慧推薦引擎，可結合業務語義分析提供常用語法、常用關聯等智慧推薦，目前正致力於開發資訊分析及語義定義等模組，也將提供標籤畫像、指標體系等的開發定義，幫助企業打通資料開發領域的一個個壁壘。在資料資產開發能力域中，TDS 提供瞭如下元件支援：

SQLBook，網頁版的 SQL 開發環境，提供了 SQL 的編輯、智慧提示、編譯、除錯和視覺化結果展現等的開發功能，還提供 SQL 稽核、版本管理、資料來源管理、團隊協作等管理能力，可以幫助開發者即插即用的做資料探索與開發。

Transporter，將分散於各個地方、各種平臺上的各種格式的資料同步或整合到大資料平臺上，透過簡潔、統一的視覺化介面快速配置資料流轉流程，實現異構平臺和資料來源之間的資料流轉。

Pilot，資料視覺化工具，提供了電子表格、資料視覺化報表、自助探索分析、OLAP 多維度分析、互動式儀表盤、管理駕駛艙等資料分析能力，與大資料平臺結合提供高併發低延時的報表查詢能力。

Midgard，主要負責將資料轉換為服務API從而被線上應用直接使用，形成最上層應用如報表、資料大屏、規則引擎等直接使用的資料；能夠對服務、服務使用方進行資源服務化、服務使用認證、流控、計費、服務等級管理，還提供服務瀏覽、服務申請、開發對接、正式接入、用量查詢等企業級管理能力。

StarViewer，資料標籤的設計和管理工具，使用者可以使用開發好的資料資產來設計主體和標籤，開發主體畫像或群體分析策略，管控標籤的資料質量並監控標籤的排程任務，覆蓋從資料資產到業務標籤的開發全過程。

Workflow， 是資料任務的排程平臺，它幫助使用者透過圖形化的介面設計完整的業務流程、設定執行時間、定義任務之間的依賴關係，並自動排程所設流程，允許取消超時任務、重試錯誤任務等來提供任務可靠性，能夠支援日均百萬級任務的分散式排程系統。

資料資產管控能力域

將生產資料轉化為產品最重要的就是品質保障，而資料管控就是 對資料產品的各個治理領域的功能組合，需要為資料訂立架構與規範，建立資料質量的管理機制持續監管及解決質量問題，同時樹立起資料共享與保護的意識。為此，著重構建了資料標準模組以定義規範，透過落標檢查來監督規範的執行；透過資料質量模組來定義質量檢查規則並執行，統計和分析質量結果，提出問題並處置解決；透過資料安全的分類分級對資料進行安全級別定義，構築資料保護的基礎；透過資料模型將標準落實到資料產品的設計工藝上；以後設資料模組進行技術後設資料的採集、資料加工血緣路徑的採集，實現差異性分析、血緣分析、特徵分析等；並且已經整合了標準與後設資料的匹配智慧推薦演算法、落標檢查演算法、標準與質量推薦演算法等；後續還將加大對資料模型的管理及應用能力。在資料資管控能力閾中，TDS 提供瞭如下元件支援：

Catalog，智慧大資料資產目錄，支援主流資料來源的後設資料和血緣資訊的自動採集、更新、版本管理，統一異構多源的後設資料管理來完成全域性化的資料資產管理流程。此外 Catalog 透過智慧化手段提供資料特徵、相似性分析、資產推薦等功能，提效資料應用流程。

Governor，資料管控工具，融合資料治理諮詢方法論，透過資料標準、資料質量、資料保護和資料許可權等多維度能力支撐資料治理專題工作，提升資料管理水平。

資料資產服務能力域

產品生產出來了，並且成為了質量過硬的好產品，這時最需要的是將產品銷售出去，投入到交換、使用的環節中，而資料資產服務能力域就是 對資料的交換、共享、應用輸出等服務能力的綜合管理，需要將標籤畫像、指標體系、自助分析、建模預測等業務模式，透過人-機的聯機查詢訪問、機-機的系統呼叫介面、平臺內部實驗區資料驗證等不同介面形式註冊為服務，以統一管理的方式對服務進行註冊、釋出、監控、停用的管理，同時，可利用知識圖譜等形式對使用情況、業務模型進行知識歸納和共享，並將安全等級定義落實到資料的共享管理中，確保許可權的正確分配、完成確權和審計要求。 當前完成資料商城模組實現了資料集的註冊、釋出，並實現API訪問、下載等介面的開放，而未來要實現資料聯邦的工作重點也在於對服務層進一步最佳化知識共享、平臺衍化、資料重組等模組。

Transwarp Foresight，企業內資產化資料的聚合門戶，為業務人員提供資料資產的檢索、下載、共享的能力，結合著資料血緣幫助資料使用者、開發者和管理者做整體協同，構建其資料運營能力。

除上述能力之外， TDS 還配備了資料安全防護工具Defensor，提供資料的安全分類分級、安全策略配置與管理等能力，可以幫助企業完成資料的安全治理，同時提供資料脫敏能力從而保護資料隱私，以及提供資料水印能力幫助安全管理人員對可能的資料洩露進行溯源，從而形成有效的資料隱私保護能力。

資料資產運營能力域

既然企業已將資料要素定位為重要資產之一，那資料資產運營將會像企業運營一樣重要。資料資產運營以資料資產管理為主線將 資料資產開發、管控、服務三大能力域串聯起來，抽象出最基本的引入、上架、運營、下架四個階段對資料資產進行管理，目前已經實現了 基於後設資料的資料集類資產引入，邏輯資產編目模組，未來還將增加對其他型別資料資產的管理和註冊，使用者已可透過資產導覽的方式或全域性搜尋的方式查詢希望引用的資產，當前打通了資產到資料商城的關聯，未來將透過資料需求，可以連通資料的開發、管控、服務的各管理接入點，也會推出智慧化的資產打標、評價演算法以提升管理效率。

透過四個能力域的功能模組的不斷完善，將提供給技術人員、資料管理人員、業務分析人員更便捷實用的工具， 幫助企業培養起從一般職員到決策者都能基於數字化能力完成企業日常運營的思維模式，只有資料的使用便利、資料的內容詳實，資料的結論準確、資料的應用全面，才能將變革成為習慣，這才是企業數字化轉型成功的核心必要條件。