【案例】基於星環科技資料雲平臺TDC為富國基金建設萬能的資料湖

星環科技作為企業級大資料基礎軟體開發商，通過發揮基礎軟體硬實力已經成功助力金融、政府、能源、交通、製造業等多個行業的客戶實現了數字化轉型，積累了豐富的成功經驗。 【行業案例】旨在定期分享星環科技最新案例成果，為各行各業企業數字化轉型提供參考和決策依據。

本篇將介紹星環科技如何基於資料雲平臺TDC為富國基金建設萬能的資料湖，助力其實現資料統一與共享交換。

案例背景

富國基金管理有限公司成立於1999年，是中國老10家基金公司之一。2003年，加拿大歷史最悠久的銀行——加拿大蒙特利爾銀行（BMO）參股富國基金，富國基金管理有限公司又成為國內首批成立的十家基金公司中第一家外資參股的基金管理公司。截止到目前為止，富國基金全產品的資產規模超過了 12,000 億，這個規模還在不斷增長。基金公司從某種意義上也是資料公司。採集資料、加工資料、應用資料，最終做出業務決策是基金公司在運作中典型的工作過程。在這個過程中，資料從資訊轉化為價值的能力決定了公司的競爭力，它取決於資料採集、處理、應用效率、準確性、以及資訊的服務方式。當行業的超額收益縮小了以後，資訊優勢就決定了基金產品收益的穩健性、風險控制能力與客戶服務質量。隨著行業的發展，投資品種的多元化，資產規模的上升，基金產品成為機構與個人投資的重要工具，來自外部監管等方面有關資料質量、資料安全、綜合資料治理水平的要求也日漸提升；同時，富國基金作為行業的頭部公司、系統性金融單位，更需要特別在資料治理、資料安全、資料質量等方面建立較好的保障與管控機制。然而，富國基金原來單一的資料倉儲平臺架構開始面臨諸多挑戰：

• 不支援實時資料處理：實時風控大屏、實時直銷申贖統計、畫像及精準營銷、實時估值等業務需求日益迫切，結合富國基金IT整體規劃要求，富國基金應適時構建實時資料處理能力。
  
• 資料倉儲平臺儲存昂貴：解決海量資料的儲存問題，根據資料價值高低、資料的冷熱不同，儲存到不同的平臺介質上。
  
• 不支援半結構、非結構化資料處理：基金公司各類研報、公告、輿情等外部資訊資料對公司的決策同樣至關重要，而該類資料很多是半結構、非結構化的儲存格式。
  
• 資料孤島問題：不同團隊各自建設，資料沒有打通；同一份資料在多個業務系統內儲存；缺少統一標準，難以進行資料管控和質量提升。
  
• 不支援雲原生部署：現有資料倉儲平臺 Vertica 構建在分散式資料庫上，基於物理伺服器部署，彈性不足。

解決方案

針對富國基金面臨的挑戰和現狀，基於星環科技資料雲平臺 Transwarp Data Cloud 為富國基金提供了一站式資料湖解決方案。

基於星環科技資料雲平臺 Transwarp Data Cloud（以下簡稱TDC）、星環大資料開發工具 Transwarp Data Studio （以下簡稱TDS）、星環智慧分析工具 Sophon 等產品的資料湖解決方案，能夠一站式解決企業從建湖到管湖全部過程，為富國基金管理和決策提供資料基礎與分析能力保障，提升富國基金的競爭力。

作為富國基金資料湖雲底座的資料雲平臺 TDC ，基於雲原生技術構建，具備極致的彈效能力，並且融合了資料 PaaS、分析PaaS、應用 PaaS，實現資料、應用、模型的互聯互通，打破富國基金不同業務系統的資料孤島。

在資料治理、後設資料、資料質量、資料資源目錄等能力上，星環科技提供了集開發與治理為一體的一站式工具平臺 TDS，提供了資料開發、資料整合、資料管控、資料商城和資料服務等能力。TDS 的子產品涵蓋了：資料庫開發工具Waterdrop、資料庫線上開發與協同工具 SQLBook、大資料整合工具Transporter、任務排程軟體 Workflow、視覺化報表分析軟體 Pilot 、資料服務開發與管理工具 Midgard以及資料資產目錄軟體 Catalog、資料治理工具 Governor、資料安全防護工具Transwarp Defensor、資料商城 Transwarp Foresight、資料服務開發與管理工具 Midgard 和標籤管理平臺StarViewer。可以幫助富國基金形成標準的資料資產管理規範、構建統一的資料加工、共享能力，形成資料資產。

Sophon 是一款包含資料分析與機器學習建模的一系列智慧分析工具軟體，能夠一體化地完成從資料整合、模型構建、知識推理、輔助決策，支撐業務的資料分析、探索、服務流程，從而可以幫助開發者將智慧化落地到企業應用中，幫助企業進行以資料驅動為核心的開發、運營和產業升級。Sophon主要覆蓋資料分析中的計算智慧、感知智慧、認知智慧等三個主要方向。Sophon的技術特點是採用分散式計算模式，可以進行結構化、半結構化和非結構化三種不同型別的資料的接入、處理、分析與模型釋出及管理工作。在富國基金專案上，可以用於搭建聯合創新實驗室，通過引入人工智慧、資料探勘技術來提升資料價值能力。

建設成效

通過 TDC 的多租戶能力

實現富國基金資料的統一與共享交換

TDC通過建立富國基金統一的資料湖租戶空間，統一歸集富國基金內部各業務系統的資料，實現了富國基金資料的高效治理和管控。

TDC 資料湖可輕鬆實現資料在不同應用（租戶）之間的共享，後續新增租戶可直接使用統一資料湖共享的資料， 租戶共享叢集中的某些節點，這些節點能被所有基於TDC建立的租戶排程。

TDC 上可按需建立租戶，租戶間資源隔離、資料隔離、業務隔離，不同租戶按需部署不同的應用。同時，TDC支援將不同租戶設定互信，相互之間共享元件和資料。租戶之間計算資源可動態共享，租戶2空閒時，租戶1可使用客戶的全部伺服器的計算資源，提供計算效能和查詢效率。租戶可將自身元件共享出去，在TDC資料雲內與其它共享。租戶元件的共享可減少元件部署成本。通過租戶共享，輔助許可權管控，實現租戶之間資料的共享。基於 TDC 幫助富國基金構建的企業級資料 PaaS 平臺可以實現以下功能：

★ 統一富國基金的資料PaaS，大資料業務全部基於TDC 賦能

★ 資料 PaaS 平臺支援開源元件、中介軟體的擴充套件

★ 實現多租戶場景下多雲融合

★ 提高了資源利用率，按需建立租戶，租戶資源互相給

★ 業務隔離，不同租戶按需部署大資料產品例項

★ 應用和資料統一部署

★ 應用和資料逐步互通、融合

★ 基於私有云平臺建設資料湖、Hyberbase容災場景

★ 統一的資料湖空間，高效管理企業資料

★ 通過共享元件輔以許可權控制，實現資料的按需共享和交換

★ 通過多租戶資料湖進行統一的資料申請下發

最終成果

• 已完成構建集資料吞、吐、存、算於一體 的TDC資料湖第一階段建設，實現包括離線批處理、資料分析、實時流處理等基礎能力。
  
• 建設基於TDC的資料湖，實現多源資料歸集，具備豐富的資料獲取能力，實現資料在不同租戶間的管理和共享，解決歷史資料儲存及資料孤島問題。

正在探索的能力

• 不斷優化完善基於 TDC 幫助富國基金構建的企業級資料 PaaS 平臺，充分發揮大資料平臺效能與場景優勢，同時輔以資料資產管理及資料檢核，助力富國基金資料質量整體提升，實現資料資產化並賦能業務應用。
  
• 搭建全生命週期的資料資產管理平臺最終實現資料統一儲存、統一資產管理、統一資料服務、統一安全管理及運維，在提升資料資產管理能力的同時，滿足各應用系統多樣化需求。
  
• 量化投研，基於星環時序資料庫的產品能力以及多年來對於分散式計算的深刻理解，幫助富國基金提升智慧量化投研能力。

未來規劃

• 在完善資料管理能力的基礎上，幫助富國基金構建資料科學平臺，實現反洗錢、輿情監控、智慧選基等人工智慧場景。