TDS：標籤平臺+API平臺+資料共享平臺，助力資料運營平臺建設

企業數字化轉型過程中每個階段都會遇到諸多問題和挑戰，在資訊系統搭建上，早期煙囪式架構建設導致資料無法互聯互通，形成資料孤島，完成互聯互通後又面臨無法管理資料資產、發揮資料資產價值等問題。現階段，隨著業務複雜度的增加和資訊科技的演進，資料和分析成核心業務功能，又將面臨缺少高效、便捷以及多樣化的資料獲取渠道，導致上層資料分析應用無法順利和高效的開展。

針對上述痛點和挑戰，星環科技在 2019 年推出了大資料開發工具 Transwarp Data Studio （以下簡稱 TDS）。TDS 是一套為企業提供一站式資料資產全鏈路管理的服務平臺，TDS 包括資料資料開發、資料治理和資料運營套件 3 大使用場景套件和 9 個元件。近日， 在星環科技 2022 春季新品釋出週上，TDS 隆重推出 2.3 版本，三大套件都有全新升級，其中 資料開發套件增加了 SQL 稽核功能模組； 資料治理套件增加了智慧對標功能； 資料運營套件加強了大資料分析與服務能力，新融合了三個大資料分析與服務相關元件，包括資料商城 Foresight、標籤平臺 Starviewer 和資料服務平臺 Midgard。

資料開發套件，助力企業完成資料統一化

資料開發套件包含：大資料整合工具 Transpoter、資料庫線上開發與協同工具 SQLbook 和任務排程軟體 Workflow ，該套件作為星環科技大資料基礎平臺 Transwarp Data Hub 的生態開發應用工具，針對資料開發場景，提供資料整合、SQL開發和任務排程的能力，幫助企業將資料歸集到資料湖倉，完成資料統一化的過程。在 TDS 2.3 新版本中，資料開發套件除了對已有模組進行功能，效能和穩定性加強外， 針對資料開發場景的規範管控需求，增加了SQL稽核功能模組。

隨著企業大資料開發和應用場景開始進入“深水區”，大家開始關注針對資料開發和應用過程的管控能力，用以解決諸如 SQL分析過程中的資料安全問題、資料開發過程中的SQL規劃和最佳化問題等。

針對上述需求場景，TDS 提供了基於 TDH 大資料基礎平臺的 SQL 稽核功能，透過在 TDS 中使用自研的 DSL 語言自定義和管理 SQL 稽核規則庫，並在 TDH 的編譯層和最佳化層對不符合稽核規則的 SQL 進行事前阻斷，針對所有面向 TDH 的 SQL 請求進行稽核和管控，規範 SQL開發過程、提高 SQL 執行效率以及保護資料安全。

資料開發套件核心優勢在於：

• 以強制手段，統一 SQL 分析和開發規範，提效資料開發和保護資料安全；
• 自研 DSL 語言，可以支援根據實際需求情況自定義稽核規則；
• 統一資料許可權、資料庫審計以及資料庫內SQL排程，降低資料庫管控成本。

資料治理套件，完成資料資產化

資料治理套件，針對企業過去資訊系統煙囪式的構建方式以及資料開發和管理過程不規範的問題，提供資料治理能力，幫忙企業進行資料資產盤點、資料標準統一和解決資料質量問題，完成資料資產化的過程；

TDS 的資料治理套件是基於星環科技資料治理諮詢方法論的、一站式的面向企業各類資訊系統的資料管控平臺，整合後設資料管理、資料標準管理、資料質管理量、資料許可權管理等模組，提供全生命週期資料治理能力。

TDS 2.3 新版本針對資料治理場景的智慧化需求，增加了智慧對標功能。TDS 資料治理套件提供了智慧化資料治理能力，以資料標準對標為例，面對數千上萬資料標準的對標工作，提供智慧對標功能，為資料治理實施團隊或者企業自有業務人員推薦高準確率的資料標準對標關係，大大提升資料標準對標工作效率和降低落地門檻。

數治理套件的核心優勢在於：

• 可以事前透過TDS內建知識庫，對行業文獻、企業內部知識文件以及已有的資料標準、標規則內容，進行智慧解析和知識沉澱，擴大資料標準對標的支撐業務主題範圍，提高推薦準確率。同時，可以根據使用者對推薦結果的判定行為對智慧推薦演算法進行自動化迭代和最佳化；
• TDS資料治理套件是一站式產品架構，由完整的資料治理功能模組組成，並整合至統一平臺中，各功能模組根據資料治理方法論有機的形成功能聯動和流程，提供一站式工具應用體驗；
• TDS資料治理套件提供基於星環科技大資料技術的資料治理任務執行能力，高效完成資料治理作業。

資料運營套件，助力資料運營平臺建設

TDS 2.3 新版本的資料運營套件，加強了大資料分析與服務能力，新融合了三個大資料分析與服務相關元件，提供資料標籤體系構建和自助取數，直接對接數字化轉型應用的 API 開發和管理，並能將上述套件產生的資料產品在統一的共享門戶中進行企業內部共享交換，將企業各型別資料資產以分析、服務和共享的方式提供服務，發揮資產價值，最終支撐數字化轉型相關應用，完成資料業務化的過程，並提供資料資產共享互動，構建企業資料生態化，助力資料運營平臺建設。

TDS 2.3 資料運營套件新融合的三大元件分別為：資料服務平臺Midgard、標籤平臺Starviewer、資料商城 Foresight。

資料服務平臺Midgard

Midgard 可以為客戶提供資料服務開發、管理和應用的全生命週期管理和穩定、高效能、安全的資料服務能力支撐，將多樣化的資料轉化為業務應用直接使用的資料資產，打通資料和業務之間的壁壘。

在產品核心能力方面，除了API本身的生命週期管理，Midgard 支援彈性擴縮容的高效能請求轉發，接入安全和資料安全的資料保護雙保險，並根據實際業務需求，提供以外掛化、介面卡、介面等多種對接適配 方式的高度可擴充套件的開放架構，保證資料服務的高吞吐、低延遲和水平擴充套件。

標籤平臺Starviewer

資料標籤平臺 StarViewer，面向降低資料獲取門檻的自助取數場景，提供全面的標籤體系搭建、管理，標籤畫像分析能力。StarViewer可以透過業務化標籤的互動形式幫助客戶降低資料分析和取數的門檻，讓標籤開發、應用流程中不同角色的使用者簡單方便的分析和使用資料；

在產品核心能力方面，StarViewer 提供了體系化的標籤運營與管控、多維度畫像展示、自助標籤資料分析和下載、高效能標籤構建和應用，讓資料直接服務於具體業務。

StarViewer 的兩大核心優勢：

• 高效能的標籤資料加工和分析：支援接入主流結構化型別資料來源進行標籤加工、分析和資料下載，基於星環自研資料庫保證資料分析和加工效能
• 自助取數和資料分析：視覺化完成自助取數和標籤配置，零門檻完成標籤的資料分析和資料共享。

資料商城 Foresight

資料商城 Foresight 是面向資料資產共享流通場景，提供資料資產檢索、洞察、共享和流程管理能力。Foresight 透過提供統一的業務化風格的資料資產共享門戶介面，上架企業資料資產以供資料消費者檢索、洞察和申請，同時提供多種資料共享形式如下載、資料庫間流轉、API等，並輔以可自定義資料共享審批流程、資料資產許可權管控以及基於星環科技資料保護技術的資料共享方式，旨在促進資料資產安全流通，實現企業內外部跨層級、跨系統、跨部門的資料共享和業務協同提供基礎支撐；

在產品核心能力方面，Foresight 透過全面的資料資產許可權管理和支援自定義的資料資產申請審批流程對整個資料資產共享流通流程提供安全保護；同時對不定的門戶需求提供包括門戶設計、編目、流程等自定義能力和客製化服務並提供基於星環科技大資料技術的高效能資料共享流通服務。

Foresight 的三大核心優勢：

第一，高效能的資料傳輸和更新，在資料共享平臺的業務流程中，主要涉及資料流轉的內容為已釋出資料資產的定期更新以及使用者驅動的資料共享任務，Foresight 基於星環科技大資料平臺能力為上述流程提供高效能資料流轉支撐；

第二，便捷易用的資料開放共享服務， Foresight 提供基於業務主題的自定義資料編目系統和基於編目類別、標籤、組織機構等多樣化檢索，快速定位目標資料資產；

第三，資料共享過程中的資料保護 ，Foresight 支援針對指定使用者、角色、工作區或者組織使用者提供資源級粒度的資料資源安全管控策略；支援 26 種主流資料脫敏方式，根據資料分類分級情況自動適配加密方式。

基於星環科技產品的資料中臺全景圖

介紹完了TDS 2.3版本的全部內容後，我們可以基於TDS在資料中臺的全景圖回顧一下TDS在企業數字化轉型過程中扮演的角色，首先面向源端業務系統包括資料流引擎、關係型業務資料庫以及半結構化、非結構化資料系統，TDS資料開發套件透過資料載入和同步的方式將資料落地到資料湖或資料倉儲，接下來透過在資料湖倉內進行SQL開發、建模和實時計算，並透過排程系統將這些開發任務進行編排、排程和統一的跟蹤運維管理，最終匯聚形成基礎的資料資源在資料倉儲對應層級記憶體儲下來。

TDS資料治理套件透過統一的後設資料管理、資料標準落標和資料質量的把控的將這些資料資源轉換為高質量、業務可用的資料資產。

TDS資料運營套件基於星環科技大資料能力，對上述資料資產進行API以及資料標籤的開發，產生的資料產品釋出到統一的資料共享平臺對外提供數字化應用和企業內資產流轉。

最終TDS各個套件針對獨立的使用場景如資料開發場景、資料治理場景或者綜合性的資料中臺場景提供一站式的產品平臺支撐，與此同時，針對企業遇到的單個細分的需求場景如任務流排程、血緣分析、自助取數、資料服務或資料資產門戶等，TDS可支援任意元件組合的形式，提供產品能力服務。

選擇 TDS 構建數字化運營平臺的四大理由

TDS 作為一站式的平臺產品，各個元件模組整合至同一風格介面，形成統一的使用體驗，基於星環科技實施方法論，針對業務需求場景提供跨元件功能聯動和流程整合，形成1+1>2的效果，打造完整的企業級資料全生命週期的開發與運營平臺。

其次，TDS提供優秀的團隊協作能力：TDS各個元件實現了全圖形化的互動形式，降低使用門檻；作為一個web端的產品，TDS天然支援多使用者線上協作，對TDS全域性物件進行統一的管理，包括許可權、版本、行為審計管理等。

在技術架構上，TDS 引擎層採用了分散式架構設計，可擴充套件服務，提供優秀的平臺效能，可支援最大 PB 級別資料量和日均10萬級任務排程的資料平臺建設。基於圖資料庫的支援百萬級關係資料秒級查詢的資料血緣分析。

最後，是智慧化資料治理能力，TDS構建智慧資料資產模型匹配特定領域和行業資料，支援智慧化資料標準貫標、資產推薦、自動打標等提高實施效率的功能，同時可以進行知識積累，智慧化持續最佳化實施體驗和提高實施效率。