企業如何做好資料資產的盤點|億信華辰

DataAnalyst的碎碎念發表於2022-05-30

傳統意義上的資產盤點是指對資產進行定期清點,以確定各種財產在一定時間的實存數。資料資產盤點則是對企業擁有的資料進行清點,已確定企業當前擁有的資料。

眾所周知,資料資產是企業數字化轉型的資料底座,企業要進行數字化轉型就要做好資料資產的管理,比如為了實現資料供給的需求,一項重要的基礎性工作便是資料資產盤點。


只有通過全面梳理企業中作為資產的資料,才能使資料從業者瞭解資料資產全貌、繪製資料資產地圖、有機串聯資料的技術面與業務面,以便讓企業中的資料能看清、可理解、相關聯,進而為制定更好的資料策略、搭建更強的資料信任、實現更智慧的資料應用打下堅實基礎。今天小億就從以下幾個方面說說資料資產的盤點。


01、為什麼要進行資料資產盤點?


目前,國內各大企業經過多年的資訊化建設,已積累了種類繁多、體量龐大的資料,並且隨著業務的持續發展,業務範圍、資產規模、客戶規模均不斷擴大,產生的資料規模也在快速增長。

而資料規模的快速增長為企業帶來了數字化轉變、智慧化變革的機遇,同時也對資料資產的掌控能力提出更高要求。而資料資產盤點是解決企業資料資產管理的前提,通過對企業擁有的資料進行盤點,將幫助企業弄清楚以下問題:


(1)企業有哪些資料?關注資料的分類

(2)企業有多少資料?關注資料的存量、增量

(3)企業的資料儲存在什麼地方?關注資料的儲存和取用方式

(4)企業的資料是由誰在管理?關注資料的歸屬部門和責任人

(5)識別哪些是重要資料,哪些是敏感資料?關注資料的分級、共享條件和範圍


因此,全面推進資料資產盤點工作,是摸清資料資產家底、明確資料資產存量、識別資料資產範圍、搭建資料資產地圖的重要手段,也是準確識別出有價值的資料資產,並對資料資產開展統一規範管理,進而實現資料資產價值最大化和良性迴圈的重要基礎性工作。


02、資料資產盤點的2種基本方法


資料資產盤點有兩個方法可以幫助我們梳理出企業的資料資產清單或資料資產目錄,分別是“自上而下梳理”和“自下而上盤點”。


1.自上而下梳理


自上而下梳理是一種以業務視角進行資料梳理的方法,通過對企業的相關制度檔案、智慧體系、業務流程、業務單據等進行全面分析,逐層分解,梳理資料資產的三級目錄、業務屬性和相關管理屬性。

(1)三級目錄:即資料資產的分類,是按照業務視角對企業資料資產的梳理和分解,例如:資料域-資料主題-資料子主題-資料物件,(注:三級目錄不限於三級,但一般建議控制在五級之內為宜)。

(2)業務屬性:即用來描述資料資產的業務後設資料。常見業務屬性包括:所屬資料域、資料主題等分類屬性,資料物件、業務定義、業務規則、敏感等級等。

(3)管理屬性:即用來描述資料資產的管理、維護、使用相關後設資料。常見管理屬性包括:管理部門、管理人員、聯絡方式、更新頻率、最後更新時間、資料共享條件等。(注:業務視角下,資料資產的管理屬性可能無法全部梳理出來,這就需要在技術盤點環節對其進行補充完善。


2.自下而上盤點


資料資產盤點的另一個方面是以技術的視角,從IT系統—資料庫表---資料結構出發,進行自下而上歸納,逐步明確資料資產相關的系統資訊項(技術屬性)。

技術屬性:即用來描述資料資產的技術後設資料。常見技術屬性包括:來源系統、資料庫表、欄位型別、欄位格式、取值範圍、儲存方式、血緣關係等。


最後,對業務視角的梳理出的目錄中資料項與技術視角的盤點出的系統資訊項進行關聯,建立起兩者的對映關係,這樣一個完整的資料資源目錄就成型了。通過資料資產目錄可以從多個視角(業務或IT)進行資料的查詢,並確保目錄中的每一個資料項都可以在真實的IT系統中找到。


03、資料資產盤點由誰負責基本原則是什麼?


眾所周知,資料作為一種特殊的資產,確權難、虛擬性、可複製是其主要特徵,這也為資料資產盤點造成了一定的困難。資料資產盤點的原則是“誰生產,誰負責”,“誰使用,誰負責”,“誰管理,誰負責”。

因此,企業資料資產的盤點需要找到一個具有全域性思維的人來進行統籌,規劃出資料盤點的相關原則、框架和藍圖,定義出資料盤點的內容,制定出資料盤點的模板,再由生產或使用資料的業務部門執行梳理,完成資料盤點工作。這個統籌的人可以是IT部門、資料管理部門,或是外部聘請的資料專家。


除此以外,為了更好地開展企業資料資產盤點工作,保證盤點過程安全穩定、保證盤點結構準確可靠,還應遵循如下原則開展具體工作:


(1)前瞻性:資料資產盤點還應該站在整個盤點旅程的角度進行規劃和實踐,充分考慮資料資產規範、搜尋獲取、分析應用、績效評估、視覺化展示等需求;

(2)全面性:資料資產盤點範圍要全面覆蓋企業的所有資料資產,但在落地實踐過程中,企業也可以分階段開展盤點工作;

(3)基礎性:選擇資料資產最穩定的本質屬性或特徵作為盤點內容,確保盤點內容不因環境因素而發生變化;

(4)系統性:將需要盤點的資料資產的屬性或特徵按一定排列順序以系統化,並形成一個合理的分類體系;

(5)確定性:對於盤點範圍內的任何一項資料資產,在分類體系中應該有唯一確定的基本單元與之相應;

(6)可擴充性:目錄框架應滿足資料資產不斷髮展和變化的需求,允許在目錄框架中增加新的盤點內容而不影響原有內容。為使用者進行延拓細化創造條件;

(7)安全性:減少資料盤點工作對於業務活動和系統執行的影響,避免出現資料丟失或洩露等失誤,給企業帶來損失;

(8)保密性:資料是企業重要資產,資料資產盤點過程中,盤點人員要嚴格遵守保密要求,避免觸及敏感資訊。


04、資料資產盤點的流程和步驟


資料資產盤點工作,整體包括準備階段、盤點階段、彙總階段三部分流程,其中盤點階段根據所盤點系統的不同型別和特徵,包含4個子流程、分別針對套裝軟體、自開發系統、分析系統、資料倉儲開展盤點工作。

1.準確階段


不同系統對於盤點文件的需求存在差異,盤點開始前,需對獲取或生成的業務及技術文件準備情況進行核查,確認文件可供盤點使用。同時,向各盤點系統運維支援人員申請各系統查詢許可權並確認。準備階段主要工作可分為:


(1) 確認操作許可權

由各系統運維支援人員提供各系統前臺顯示和後臺資料庫查詢許可權,盤點人員對所需使用者許可權在目標系統進行驗證,為後續進行資料資產盤點打下基礎。


 (2) 形成資料字典

系統資料字典是系統盤點過程中的重要依據,如技術支援人員能提供盤點系統的完整資料字典,由技術支援人員提供;如技術支援人員不能提供完整資料字典,需由技術盤點人員通過資料庫工具匯出該系統完整資料字典。


(3) 形成功能操作清單

針對系統功能文件不全的歷史遺留系統,由盤點業務人員建立系統功能操作清單,支撐系統功能與業務分類的關係對照。


(4) 進行業務分類

根據盤點系統的業務定位,參考組織已有的業務分類體系,補充完善業務分類體系。


(5) 確認盤點文件完整

根據收集與自主生成的文件,確認盤點文件是否完整。


2.盤點階段


(1) 定位資料資產

圈定需要盤點的資料資產範圍,明確盤點物件清單,為後續進行資料資產盤點打下基礎。

a)定位資料資產:對照文件及系統,判斷文件與系統一致性,定位業務流程涉及的資料資產和其它在套裝軟體中自開發資料資產的盤點範圍。

b) 自動生成盤點表格:以資料資產名稱為基礎,自動生成盤點表格,盤點表格僅包括《資料資產盤點表格》部分,生成的盤點表格會自動填寫資料資產分類、系統名稱、指標編碼三部分內容,並根據系統情況自動填寫其他屬性的部分內容,供後續盤點使用。


(2) 填寫盤點表格

由業務盤點組和技術盤點組根據系統前臺資訊及後臺資料情況,分別進行資料資產盤點表格初步填寫,並收集需要溝通的業務及技術問題。

a) 明確業務分類:基於系統業務流程設計,根據已有的業務分類體系,對已經與業務流程關係的資料資產的業務分類進行識別。

b) 查詢資料量:開啟資料瀏覽器,查詢資料量,計算新增條數(每月)。

c) 根據資料字典填寫盤點表格:根據資料字典的資訊,填寫《資料資產盤點表格》的管理屬性、技術屬性和技術屬性,以及《資料資產項盤點表格》的管理屬性和技術屬性。


(3) 溝通及補充完善

基於已收集的問題,與相關業務部門、技術支援組進行集中溝通或現場討論,並對資料資產盤點表格進行補充完善。溝通業務部門,完善管理屬性。針對相關的業務及管理問題,集中與相關業務部門開展討論,可採用集中會議、郵件等形式。針對相關的技術及資產問題,集中與系統開發廠商,即技術支援組開展討論可採用集中會議、現場討論等形式。


 (4) 彙總整理

彙總形成資料資產目錄:在資料資產盤點初步完成後,業務人員對資料資產盤點表格進行彙總,並使用工具對部分內容進行生成或批量標準化轉換。


3.彙總階段


彙總階段需要將所有盤點系統的盤點結果合併,形成統一的資料資產目錄,並完善關聯資產名稱和資料資產編碼。主要工作包括:

(1)彙總形成資料資產目錄:彙總各類盤點子系統形成的資料資產目錄,合併生成統一的《資料資產盤點目錄》。

(2)完善關聯資產名稱:使用自動化工具,將《資料資產盤點目錄》中關聯資產內容中的程式碼轉換為資料資產名稱。

(3)形成資料資產編碼:使用組織規劃資料資產統一編碼規則,生成資料資產編碼。


05、億信華辰資料資產盤點方案為企業資料資產管理賦能


億信華辰資料資產盤點方案可以幫助企業盤清企業資料資源家底,搭建全域資料分類管理框架,同步構建常態化的資料盤點機制,實現資料資源的全生命週期視覺化管理,形成面向企業內、外統一的資料資產目錄,提供標準化的資料服務,有效推進資料資源的共享和應用,為後續資料治理打好基礎。


方案內容包括後設資料摸底、後設資料維護、資料資產分類框架、資料資產目錄構建。通過盤點資料資產,形成企業級的資料資產目錄,為企業資料創新應用打好堅實基礎,方案流程如下:

1.後設資料摸查

通過對接企業業務系統、資料湖或者資料倉儲,採集後設資料自動獲取原始的企業資料字典及資料之間的關係,形成企業後設資料地圖。


2.有效性資源標註

制定有效資源判斷規則,基於採集的後設資料,對全量資料資源進行自動識別,篩選出空表、備份表、臨時表等無效資源,並補充輔助理解資料業務含義的資訊,形成更完整、有效的資源後設資料,為資料資產分類做鋪墊。


3.資料資產編目

按照業務條線、組織架構、資料特性等多個維度構建資料資產分類框架,基於後設資料資訊完善資料資產目錄資訊,補充與資產相關的業務、權屬資訊,形成面向資料消費者的資料資產門戶。


4.資料資產服務

建立資料資產目錄與實體資源的對映關係,開發面向不同消費者的資料服務型別,滿足業務系統、資料分析師、前臺業務人員多樣的資料需求。

此方案曾幫助中國房地產百強企業-時代地產完成集團多個系統/模組中的原始資料資產盤點,從源系統、資料平臺、資料應用系統等通過後設資料、資料標準、資料模型等工具落地資料現狀,通過資料質量管理工具完成資料質量評估和量化,瞭解集團目前總體資料規模和分佈情況。

同時,基於盤點結果,完善資產資訊,查漏補缺完成註釋補充,有效幫助瞭解資料含義及資產業務意義。最終實現集團從不瞭解資料現狀到了解資料現狀的轉變,為集團後續資料治理、資產管理、資料安全工作有序開展奠定了基礎。

06、小結


隨著企業數字化轉型的落地,資料作為企業一種“特殊資產”,被列入企業的資產負債表,是遲早的事情。因此對企業來說,資料資產當然也是需要盤點的,只有對資料資源進行統籌規劃,全面梳理,“摸清家底”,才能讓資料更好地服務於企業的業務應用。


企業開展資料資產盤點工作的目標是通過開展企業級的資料資產盤點,明確企業資料資產全貌,助推資料資產全生命週期的統一管控,為資料資產的增值利用提供良好基礎,促進資料價值變現。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69996137/viewspace-2898038/,如需轉載,請註明出處,否則將追究法律責任。

相關文章