大宗商品貿易集團資料治理實踐，夯實數字基座 | 數字化標杆

某大型央企是首批全國供應鏈創新與應用示範企業，在“十四五”規劃期內以聚焦供應鏈管理核心主業作為主要戰略發展方向。供應鏈運營管理以大宗商品貿易為主，其交易往往具有交易量巨大、交易環節複雜、風險交易難識別、風險客商難管控等痛點。

隨著集團數字化轉型不斷深化，資料應用方面的需求不斷擴充套件。但集團缺乏統一的 ，導致在資料應用方面，出現資料價值不凸顯、資料標準不統一、資料質量不可控、資料共享不暢通等問題。

在此背景下，該集團引入 ，立足於打造全集團統一，能滿足覆蓋運管、風控、業務全過程數字化經營管理及分析決策的 。對集團現有存量資料進行資料治理及挖掘，搭建資料管理體系，對增量資料進行有效管理和應用。透過梳理目前集團所有存量資料，提煉運營指標及管理指標，科學化管理公司資料資產和挖掘資料價值。

01 圍繞“資料治理、資料服務、資料應用”的資料治理方案

袋鼠雲根據集團提出的資料治理需求，結合內部現有資料開發平臺，以業務應用場景為導向，形成集團統一的資料治理方案。專案以資料治理、資料服務、資料應用三大方向展開實施，其中資料應用以聚焦供應鏈運營管理業務為核心，資料服務以滿足集團下屬各子公司資料需求為主，資料治理以統一集團資料歸集方式、資料質量標準、 、資料建模標準為目標進行建設。

其中資料治理設計的步驟為：確定當前專案的目標和範圍，設計本輪資料治理的模式、架構和方法。以集團當前提出的資料需求場景出發，針對場景資料進行資料治理，主要包括以下幾個步驟

1、架構設計

技術架構上，從場景需求出發，結合當前企業組織架構及資料許可權出發，將資料中臺設計為 加經典ODS、DWD、DWS、ADS四層結構，其中集團為主專案空間，其餘業務供應鏈平臺為子專案空間。另外，根據前期調研結果，結合當前集團業務範圍，將業務根據業務主體進行了 的設計與劃分，其中重點建設資料域為：

1）客商域：企業所服務的所有客戶及供應商； 2）商品域：企業自營或代理商品，SKU； 3）交易域：客戶與企業發生的所有交易行為，包括交易合同，訂單，採購等； 4）風險域：企業發生訴訟，處罰等風險資料； 5）倉儲物流域：所有倉庫出入庫，在途等資訊； 6）公共域：系統碼值，引數資訊，組織架構，人員以及標準化對映資訊。

透過分層與分域的設計，將集團原本傳統資料架構轉變為新資料架構，統一源端資料，建設 ，建設服務層最後滿足各個不同需求，有效解決傳統資料架構存在的資料孤立，事實重複建設，資產盤點困難等問題，更適應當前集團發展階段訴求。

2、資料統一歸集

當前集團源端資料大體分為三類：第一種是傳統業務資料，包含SAP系統、MDM系統、CRM系統、雲鏈、高達、南北、OA等系統；第二種是第三方資料，包含船訊網、啟信寶、行情資料、價格資料等；第三種是其他手工填報資料。

其中傳統業務資料存在資料來源多，資料量級分佈不均，部分系統只能取得介面全量資料或為高度彙總報表資料等問題，使用數棧底層資料同步工具FlinkX將不同資料接入資料中臺中。

第三方資料使用 ，透過調取特定的API服務介面，完成資料的採集及簡單清洗，接入資料中臺。

手工填報資料透過完成填報報表的初步設計後，迴流手工填報平臺（當前使用飯軟），進行定期同步、定期填報、定期迴流採集的形式來完成資料的收集。

3、資料集中處理及標準設計

從架構設計出發，對已接入的源端資料，進行明細事實層的建模設計，進行 的統計和收集。

明細事實層的建模設計秉持 ，根據不同的主題域，將ODS層資料進行特定範圍的清洗，處理，加工後形成可複用性強的描述某一顆粒度下，某一業務行為的各項資訊，縱向可以進行上鑽下鑽，橫向可以對比。

針對指標層的加工處理，在引入資料中臺之前，資料計算邏輯、指標口徑都存放在SAP系統的程式碼中，無法進行有效複用。為了解決這一問題，根據指標體系設計方法論，統一定義指標體系的各資訊（包含指標ID、指標名稱、指標主題、業務口徑、維度、修飾詞、計算方式、計算頻率、時間週期、業務對接人及開發負責人），在接下來企業的資料應用過程中，完成 的收口和統一。

4、資料應用場景

資料應用場景以集團供應鏈運營管理為核心，分別對運營管理、物流管理、信用管理資料進行統一歸集，按照業務指標邏輯進行資料處理開發，滿足業務人員資料包表填報和 應用場景。

運營管理場景：透過重新梳理SAP客戶逾期、客戶賒銷、現貨敞口庫存等業務報表資料邏輯為基礎，結合大資料平臺從SAP底表取數能力，實現風險週報填報、簽約情況分析、重大事項填報場景建設，有效減輕業務人員每週報表加工填報的工作壓力，同時提高業務資料線上留存能力。

物流管理場景：以物流合同、物流供應商、供應商庫點、庫點庫存、庫點盤點記錄資料為基礎，進行統一匯聚處理，按照業務指標口徑進行資料開發，實現 、物流供應商看板、庫點盤點密度看板、庫存看板四大看板，為業務人員發現潛在風險和日常業務資料便捷查詢提供有利條件。

信用管理場景：以客商授信額度、客商逾期、行業產品加工利潤資料為核心，結合 進行資料開發，實現授信額度跟蹤、逾期資料分析、行業加工利潤填報場景建設，為業務人員控制客商授信額度、發現客商潛在風險、明確當前各行業產品盈利情況提供有效支撐。

02 夯實數字基座，有效支撐資料應用

截至目前， 共構建700餘張表，資料執行任務總量500餘個，其中ODS資料來源始層同步任務200多個、DWD資料明細層清洗加工任務40多個、DWS資料彙總層彙總任務60多個、 維度層維度同步任務20多個、ADS資料應用層業務場景資料推送任務100多個。

滿足集團供應鏈運管部物流倉儲管理、客商信用管理、價格管理、運營管理等部門資料分析需求，實施搭建簽約銷售/採購看板、物流倉儲看板、授信額度跟蹤看板、逾期資料分析看板、 等業務場景。