企業如何兩步實現資料資產化?

星環科技發表於2023-04-06

企業完成建設資料儲存和算力基礎平臺後,再將資料資源歸集,下一步就需要將資料資源轉化為資料資產。那麼什麼樣的資料資源是資料資產?企業資料管理者需要提升資料質量、消除資料孤島,並逐步積累資料價值?本篇將從資料平臺建設和團隊建設兩個角度來介紹如何實現資料資產化。




—  資料資產化的挑戰  
企業完成建設資料儲存和算力基礎平臺後,再將資料資源歸集,下一步就需要將資料資源轉化為資料資產。有業務語義和業務價值的資料資源才是資料資產,因此企業資料管理者需要將資料與業務銜接起來,梳理出哪些資料可以服務哪些業務,同時建立好資料銜接通道並做好資料安全管理。這個階段的主要目標是提供給業務方可以直接使用的資料資產。
企業在資料資產化的階段會遇到各種各樣的挑戰,尤其是在起步階段,經常會遇以下幾個問題:

  • 如何能識別出企業的全量資料資產
  • 如何能準確且快速的提升當前的資料質量
  • 如何能跨業務跨領域的打通企業資料,消除“資料孤島”
  • 當前資料的流轉過程是否符合國家相關的法律法規的要求
  • 企業怎樣才能逐步的挖掘出資料資產的價值並量化它
  • 相關人才的培養,管理手段的升級,思維模式的創新

對於大多數企業,這一系列挑戰在很長一段時間裡,都深深困擾著資料管理人員,尤其是引領企業數字化轉型的管理層。
然而方法總是比困難多,相關問題的解決並非一蹴而就,需要一套完整的技術平臺和管理體系,並落實到具體的業務單位,有計劃、分步驟、可量化的持續推進各項服務活動的開展與落地。在這個階段,企業資料管理者需要完成兩個方面的工作,一個是平臺功能的建設,一個是團隊能力的建設。

—  平臺功能建設  

平臺建設的重點主要包括能幫助企業做資料資源的治理和業務化轉換的資料開發與治理平臺,以及隨著資料安全類三法(《網路安全法》《資料安全法》《個人資訊保護法》)強制推行後要落地的資料安全管理平臺。
上圖是一個整體的,從資料開發到資產價值的總體流程的概要示意圖,不同企業的規劃和落地,依照企業的實際情況會存在一定的差異,不過總體過程大同小異,在資產化階段,對於平臺工具的功能要求,我們將其總結為以下幾點:

  • 後設資料管理與資料資源登記

能夠統一管理來自不同資料來源的資料資源是資料資源化的第一步,主要包括資料來源管理、後設資料管理、資料資源盤點等功能。資料來源管理要能夠支援不同的資料庫或平臺,平臺工具需要能夠配置資料來源、定義資料資源等。後設資料管理要能夠支援不同源資料的自動化採集,按照一些統一的標準做後設資料定版管理,甚至覆蓋資料血緣的統一收集和管理。資料資源盤點需要包括一個資源門戶和資源管理規範,可以將不同資料庫的差異化資料格式採用統一的資料格式進行盤點和規範化描述,再掛載到統一的資源目錄上,便於資料管理和使用者發現資料。

  • 資料模型與規範設計

資料模型是資料平臺內歸集的多樣化資料,是統一質量提升和業務化提升的關鍵。資料模型包括邏輯模型與物理模型,其中邏輯模型主要負責對映業務需求和資料表結構關係,物理模型負責將業務層的資料表結構轉換為資料平臺底層資料庫的實際DDL等。資料標準是資料平臺內後設資料和資料質量的統一定義,是後續資料資產化過程的參考依據。平臺工具需要能夠提供邏輯模型登記和物理模型設計的功能,要能夠設計資料標準、維護標準對映和執行落標檢查,從而可以建立企業內部統一的資料規範和建設標準資料。

  • 自動化的資料質量提升

資料質量提升是一個工程量非常龐雜的工作,平臺工具需要能夠提高這個工作的自動化程度從而提升效率。平臺工具需要提供的能力包括梳理質量模板、編寫質量規則、檢視質量報告、處理質量問題等。一些自動化和智慧化的功能是非常關鍵的增值技術能力,透過一些基於資料相似度的推薦演算法,讓機器自動的給資料表關聯質量規則和落實資料標準工作,可以將人力從重複的工作中解放出來,從而加速完善資料質量的程式。

  • 資料資產管理與服務能力

經過企業內大量資料管理人員的工作積累,內部將逐步積累起大量的可被各個業務使用的資料資產,此時企業就需要將這些潛在價值很大的資料資產管理起來,並提供多樣化的服務方式可以讓不同業務部門使用起來。企業一般要建立一個企業的資料資產目錄或門戶,支援資料管理者來掛載資料資產;而業務使用者能夠基於資產目錄來做檢索,更好的發現資料,瞭解資料分佈以及資料資訊溯源。
除了功能性要求以外,資料治理類軟體本身也是關鍵的基礎軟體,企業對其自然也有體系化的架構要求,主要包括如下幾點:

  • 穩定性與可靠性 : 相關軟體會產生大量的無人駐守的計算任務,因此在架構上需要保證相關資料計算任務的穩定性和可靠性。
  • 使用者自服務能力 : 資料治理軟體和資產門戶等相關軟體是需要開放給所有資料管理人員、安全管理人員以及各個業務部門內部的資料人員來使用的,因此需要提供比較強的自服務能力,這包括獨立的工作空間、體系化的許可權隔離機制,以及較低的開發啟動成本。譬如企業資料管理部門統一制定資料標準,可以分發給各個業務組織或部門,由各個部門再結合自身的業務資料做進一步的完善,而無需從0開始,中間過程可以透過一些關鍵的資料管理流程來控制。
  • 非結構化資料的資產化: 資料資產平臺需要對非結構化資料提供管理能力,或者提供外掛化的方式,讓各個業務團隊可以基於一定的方式來做定製化的開發,最終能夠有效的管理起業務積累的這部分資料資產。
  • 資料安全: 資料的開放在資料流透過程中,也帶來了安全風險,按照法律法規的要求企業必須完善資料內容安全和流通安全,而不僅僅是軟體層面的認證、許可權和審計。資料安全管理平臺需要能夠提供基於資料內容的分類分級,生成細粒度的安全策略,支援動態脫敏、靜態脫敏、資料水印等能力,可以讓安全管理人員靈活的配置,從而落實相關合規性要求。
  • 國產軟硬體生態支援: 資料資產平臺軟體需要能夠開發和管理國產資料庫內的資產,此外平臺自身也需要滿足國產化的相關要求。

 

—  團隊能力建設  

團隊能力建設相對比較複雜,在技術層面上團隊需要掌握資料資產盤點技術、資料質量管理能力、資料安全分類分級與細粒度安全管理等技術,還需要拓寬視野,從整體的角度考量如何從資料推動業務效率的提升。這部分內容比較抽象,我們將其抽象為全域性、務實、安全、資產四個關鍵點:

  • 全域性觀:以透過資料來擴大企業業務視野和管理視野為目標,以盤點和拉通企業各領域資料為度量,促進企業全面的識別和展現出所擁有的資料資源量,資料資產量。
  • 務實觀:以提升資料質量、滿足資料需求為目標,從組織、技術、管理、人員等多方面多角度、多因素入手深挖資料質量問題根因,長效提升資料質量。
  • 安全觀:以在滿足日益完善的法律法規要求為前提,保證資料資產安全,保護隱私資訊不洩露。
  • 資產觀:以做好資源配置,控制好成本和收益為目標,對資料收集、儲存、整合、應用、共享、開放,再到價值的評估量化全鏈路建立體系化的資產管理保障。

具體到細分的技術能力上,我們將這部分能力分為四個域,包括開發能力、管控能力、服務能力和運營能力,我們逐個對其展開闡述:

  • 資料資產開發能力域

企業針對資料資產的開發不僅包括資料的採集、儲存、加工,也包括分析、建模、數字產品;而資料資產開發的管理目標則是包含了對這些方面的接入、協同、管控的全流程管理。資料開發團隊需要掌握對多模資料來源的對接,指令碼開發、測試執行、作業排程、ETL配置等基礎能力,可結合業務語義分析提供常用語法、常用關聯等智慧推薦,結合標籤畫像、指標體系等能力,快速打通資料開發領域的各種問題。

  • 資料資產管控能力域

我們知道將生產資料轉化為產品時,最重要的就是品質保障,而資料管控就是對資料產品的各個治理領域的功能組合,需要為資料訂立架構與規範,建立資料質量的管理機制持續監管及解決質量問題,同時樹立起資料共享與保護的意識。企業資料管理團隊需要構建資料標準模組以定義規範,透過落標檢查來監督規範的執行;透過資料質量模組來定義質量檢查規則並執行,統計和分析質量結果,提出問題並處置解決;透過資料安全的分類分級對資料進行安全級別定義,構築資料保護的基礎;透過資料模型將標準落實到資料產品的設計工藝上;以後設資料模組進行技術後設資料的採集、資料加工血緣路徑的採集,實現差異性分析、血緣分析、特徵分析等;透過資料模型管理軟體來統一管理企業內部的各種業務資料模型定義和落實模型校驗,完善內部的資料管理要求。

  • 資料資產服務能力域

產品生產出來了,並且成為了質量過硬的好產品,這時最需要的是將產品銷售出去,投入到交換、使用的環節中,而資料資產服務能力域就是對資料的交換、共享、應用輸出等服務能力的綜合管理,需要將標籤畫像、指標體系、自助分析、建模預測等業務模式,透過人-機的聯機查詢訪問、機-機的系統呼叫介面、平臺內部實驗區資料驗證等不同介面形式註冊為服務,以統一管理的方式對服務進行註冊、釋出、監控、停用的管理,同時,可利用知識圖譜等形式對使用情況、業務模型進行知識歸納和共享,並將安全等級定義落實到資料的共享管理中,確保許可權的正確分配、完成確權和審計要求。平臺需要提供資料商城模組實現資料集的註冊、釋出,並實現API訪問、下載等介面的開放。資料的共享流轉流程成熟後,再對服務層進一步最佳化知識共享、平臺衍化、資料重組等。

  • 資料資產運營能力域

既然企業已將資料要素定位為重要資產之一,那資料資產運營將會像企業運營一樣重要。資料資產運營以資料資產管理為主線將資料資產開發、管控、服務三大能力域串聯起來,抽象出最基本的引入、上架、運營、下架四個階段對資料資產進行管理。平臺需要提供基於後設資料的資料集類資產引入、邏輯資產編目模組、對其他型別資料資產的管理和註冊等能力。資料管理人員可透過資產導覽的方式或全域性搜尋的方式查詢希望引用的資產,打通資產到資料商城的關聯,未來將透過資料需求,可以連通資料的開發、管控、服務的各管理接入點,透過智慧化的資產打標、評價演算法等功能以提升管理效率。

透過四個能力域的功能模組的不斷完善,幫助企業培養起從一般職員到決策者都能基於數字化能力完成企業日常運營的思維模式,只有資料的使用便利、資料的內容詳實,資料的結論準確、資料的應用全面,才能將變革成為習慣,這才是企業數字化轉型成功的核心必要條件。

—  小結

本篇從資料平臺建設和團隊能力建設兩方面,剖析了資料資產化建設所需的基礎功能效能力和資料團隊應具備的技術能力、思維模式等軟實力。完成了資料資產化管理,已經完成了數字化轉型的基礎佈局,那麼如何完成資料共享與分析?如何實現資料產品對內的業務運營和對外的價值創造?下一篇為你揭秘。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2944001/,如需轉載,請註明出處,否則將追究法律責任。

相關文章