主資料管理的7個實踐總結

來源：談資料，作者：石秀峰

編輯：談資料

全文共 5415個字，建議閱讀 12 分鐘

導讀：我們多次提到主資料是企業最為核心的資料，解決企業各業務之間的資料一致、高效、準確地流轉，被公認為企業的“黃金資料”，是企業資料交換共享、分析挖掘的基準資料。主資料管理是企業資料治理、資料質量管理的最為核心內容。

在《主資料管理實施四部曲概論》一文中，重點主資料管理專案實施的四大階段，每個階段的建設目標、工作內容、工作重心和價值都作了詳盡的描述，可以關注公眾號到歷史文章中查詢。本文結合筆者多年資料治理專案經驗，談一下主資料管理專案建設中的最佳實踐，希望對正在或計劃啟動主資料治理專案的企業一些參考和指導。

01 大目標、小步驟

主資料管理在企業資料架構中佔據重要位置，是企業資料戰略的最重要的一環。企業在規劃設計主資料管理專案時，不僅要有一定的廣度，還需要有一定的深度。廣度上要求應站在全域性的視角進行主資料規劃設計，要能夠覆蓋企業的各組織單位、各業務領域、各應資訊系統；深度上，主資料的規劃不僅需要滿足企業現有的應用需求、資料交換共享需求，還需要考慮未來主資料在大資料分析、決策支援方面上的應用要求。

企業在主資料專案落地實施的時候往往會陷入這樣一個誤區：“貪大求全”。恨不得透過一個專案的建設就把企業多年沉積下的各種資料問題一下子全部解決了，豈不知這樣的做法卻是讓企業的數字化治理陷入了一個泥潭。人力、物力、財力都投入進去了，卻見不到成效，或者時專案建設期看到了一定效果，隔了一段時間視乎一切又回到了原點。-_-||

一個企業主資料會有很多，如果一次把所有主資料都管理起來，工作量會非常大，週期會很長，而且需要建立相應的管理制度和考核體系全員的資料標準化思維的培養。通常，主資料會分2~3年去完成，並持續最佳化。筆者建議企業主資料專案要基於“總體規劃、分步實施”的原則來開展專案的設計和施工。專案目標要能夠支援企業發展戰略，實施步驟符合企業運營策略。專案目標要定的大一些，實施步驟要分的細一些。

企業資料治理是場馬拉松，不能被前方瑣碎而繁雜的事務所嚇倒，要做好整個賽程的規劃，一步步推進。

日本的馬拉松選手山田本一曾兩次獲得全國馬拉松大賽冠軍，他說：起初，我把我的目標定在40多公里的那面旗子上，結果我跑到十幾公里的時候就已經疲憊不堪了，我被那段遙遠的路程嚇到了。後來，我每次比賽前都要把賽程仔細看一遍，把沿途醒目的標誌畫下來，比賽開始後我先朝第一個衝，衝過第一個目標後，又朝第二個目標努力，第三個目標……，就這樣40多公里的賽程就被我分解成多個小目標輕鬆跑完。

02 業務驅動、技術引領

主資料管理決對不是為了做資料而做資料，而是為了服務於企業的業務目標。主資料專案的建設不是一個部門的任務，也不只是資訊科技部的“活兒”，需要技術和業務很好的協同起來，為實現企業的業務目標而服務。

主資料專案建設需要業務驅動、技術引領雙引擎。

業務驅動，是業務的需求驅動，業務需求來自各個具體的生產單位，業務驅動的本質是生產單位“一把手”的推動。主資料建設從需求規劃、標準設計、管理流程、平臺建設都需要業務部門的深度參與。主資料的分類、編碼、屬性模型的制定都需要由業務部門主導，將業務管理人員納入到主資料的管理組織中來，才能保障業務連貫性和資料的一致性、完整性和準確性。只有如此，才能讓主資料來源業務、服務業務，從而讓主資料達到一種“自治”的狀態。

技術引領，是將新技術、新思維應用到主資料管理中來。筆者曾在《主資料的前世今生、未來暢想》一文中提到，主資料+新技術（大資料、雲端計算、人工智慧、物聯網等）將改變主資料管控模式和業務形態。而當前企業要做的是讓業務和技術協同起來，基於業務進行主資料管理、利用技術引領業務創新。

主資料管理透過業務驅動、技術引領，對貫穿主資料全生命週期的關鍵資料要素的管理，頒佈資料標準，建立主資料管理平臺，進而提升企業的資料管控能力、提升資料質量，為企業的資料交換和共享、資料分析和挖掘提供重要的支撐。

03 主資料編碼不是你想的那麼簡單

主資料編碼是保證資料的唯一性、一致性的關鍵屬性。編碼的目的在於將資料編碼化繁為簡，便於主資料的管理，如果編碼過於繁雜，則違反了編碼之目的。所以，主資料編碼一般採用數字的形式進行編碼。通常情況下，會使用系統自動生成的流水碼來作為主資料的編碼。主資料編碼用於機器識別，重點解決的是異構系統之間的資料對映問題，是資料整合的基礎。

主資料編碼看是簡單，但在應用過程中卻沒有那麼簡單。拿物料主資料來說：

同一種物料，供應商不同，那麼在主資料管理是給一個碼還是多個碼？

這種情況，一般來說設計環節、生產環節只需要一個物料碼，而財務核算可能是要分開核算的，物料的給碼建議：如果倉庫區分擺放，分開管理，且不同供應商價格變動大影響產品成本，建議設定多個程式碼。如果庫房沒有分開管理，實物無法區分是哪個供應商的，價格變動較小，建議設定一個程式碼。

同一種物料，型號、規格都相同，但顏色不同，是給一個碼還是多個碼？

這種情況是物料管理的顆粒度問題，同時也反映出了企業的管理顆粒度。對於精細化管理的企業，顯然是要分碼管理的，雖然是同一種物料，即便型號、規格相同，製造成本相同，但由於顏色的不同，可能面對的客戶受眾不同（細分市場不同），價格和銷量也不一定相同。這種情況，是必需要分不同的物料碼管理的。但如果顏色這個屬性對於銷售業務，以及下游的客戶市場影響不大，甚至沒有影響，是可以作為一個物料進行管理的。

主資料編碼作為一類重要的資料資源，在資訊化建設中具有重要的地位和作用，是保證現有資訊系統和未來新系統建設成功的關鍵因素，決定著系統中的資訊一致性。

04 怎樣讓資料清洗“苦差”變成“美差”

資料清洗是指發現並改正不完整、不正確和不一致的主資料，從而提高資料質量的過程。資料清洗從名字上也可以看出就是把“髒”的資料“洗掉”，是發現並糾正資料檔案中可識別的錯誤的最後一道程式，包括檢查資料一致性、處理無效值和缺失值等。從資料清洗的定義上我們也能夠看出資料清洗是一個“髒活”；一個企業中主資料的量或多或少，有時候中小規模的企業，物料主資料也能夠達到幾十萬，對企業來說，幾十萬的資料清洗工作是個“累活”；我們都知道主資料是支撐業務執行、系統整合以及資料分析的基礎，主資料如果存在“髒資料”，將直接降低業務的效率，影響管理決策的準確性。因此，資料清洗還是一個責任大、任務重的活，是資料治理的一個“苦差事”。

那麼如何是企業這項“髒活、累活”的苦差變成光鮮亮麗、人人都想幹的美差呢？筆者建議從以下三個方面入手：

第一，思想文化建設。企業需要逐步培養全體員工的資料思維，認識到資料是企業的一些重要資產，而主資料是企業的黃金資料，誰掌握了資料誰就更有話語權。

第二，管理政策的傾斜。企業要做好資料治理，必須將資料管理作為一項戰略性任務，對於資料清洗的工作企業管理者應給予一定力度的支援，採取相應的激勵和考核措施，約束和激勵資料質量的不斷最佳化和提升。

第三，“人工智慧”的技術。“人工智慧”是人工+智慧的方式進行資料清洗。智慧清洗是利用資料清洗工具和先進的計算機技術，進行自動化處理，找出“髒資料”，不完整的資料，自動清洗。人工清洗是透過查詢原始記錄、標準檔案或請教專家進行缺失資料的填補、重複資料的剔除和“髒資料”的處理。在專案實際執行過程中，是兩種方式結合使用，首先利用“智慧化”的計算機技術，迅速排查和找到“髒資料”和不完整的資料，再利用人工的方式進行核對、校正，這種方式比單純的機器清洗準確率高，比單純的人工清洗效率高。

05 標準落地：簡單粗暴 VS 平滑過渡

有過主資料專案經驗的小夥伴一定清楚，主資料標準的落地是主資料專案實施的一個難點。有些企業資訊化起步較早，已經建設了N多個系統，這些系統有很多是購買的套裝軟體，存在資料庫不一致、開發語言不一致、系統架構一致等問題，想要將主資料標準在這些異構的遺留系統中落地，也不是一件輕鬆容易的事。新老體系的相容、歷史資料的處理是主資料標準落地不得不面對的兩個難題。

對於新建系統可以直接引用新標準的主資料，對於遺留系統來說主資料標準的落地，筆者給出以下方法供參考：

1）簡單粗暴式，企業強力度進行主資料標準化推廣，所有業務系統必須按照主資料標準進行整改，一次性徹底解決遺留系統的主資料問題。這種方式雖然說是簡單粗暴，但操作起來卻不容易。對於遺留系統多年一直使用舊體系，對於歷史資料還有沒有結清的業務來說想要徹底替換成新的體系，難度還是非常大的。

2）斷點切換，即遺留系統以一個相對適合的時間點，建立斷點。這個時間點之前的資料，就不再處理了，對於時間點內的資料進行清洗轉換，替換成新的主資料標準體系。這種方式優點在於相比簡單粗暴式要容易操作，遺留系統的改造難度低。缺點是對於歷史資料的查詢還需要按舊標準查詢，對於企業的資料的整體統計分析造成兩層皮，無法有效利用歷史資料，影響分析結果。

3）建立對映平滑過渡，遺留系統需要按照新的主資料標準體系引入並與現有的資料建立對映關係，對於新增的資料直接按新標準執行，對於歷史資料可以依舊使用舊標準。同時，因為新舊體系之間存在對映關係，可以為企業提供完整的資料的統計分析。這是筆者比較推薦的方式，但是這種方式也有一定的弊端，那就是遺留系統的歷史資料的質量要相對較好。如果遺留系統的主資料質量本身非常差，與新的主資料標準體系無法建設對映關係，那就需要花大量的時間和精力去處理遺留系統的歷史資料。這樣一來，這種方式反倒不如採用簡單粗暴式來的直接，解決的徹底。

06 企業小資料融合社會大資料

數字化時代，是資料驅動業務、資料驅動管理的時代。企業的主資料管理模式和資料形態與傳統的主資料管理將發生一定的變革。筆者曾在《主資料前世今生、未來暢想》一文中對未來主資料的應用模式和技術形態的藍圖，有興趣可在（微信公眾號：談資料）的歷史訊息中查詢。

在主資料管理方面，透過企業內部資料與外部社會資源的融合，構建出客商的完整主資料檢視，並能夠實現自動化的資料填充、自動化清洗、動態式的資料更新，改變了傳統主資料管理和運維模式。同時，保障了資料的有效性、提升了資料質量。

目前部分企業已經嘗試將企業的小資料與社會的大資料進行融合，從而實現業務和管理的創新。

07 主資料運維平凡但不簡單

先給大家講一個小故事：

有一個小和尚在一座名剎擔任撞鐘之職。他自認為早晚各撞一次鍾，簡單重複，誰都能做，並且鐘聲只是寺院的作息時間，沒什麼大的意義。就這樣，敲了半年鍾無聊至極，唉，“做一天和尚，撞一天鐘”吧。有一天，方丈宣佈調他到後院劈柴挑水，原因是他不能勝任撞鐘之職。小和尚很不服氣，心想我撞的鐘難道不準時、不響亮？方丈告訴他：“你的鐘撞得很響，但是鐘聲空泛、疲軟，沒什麼力量。因為你心中沒有認識‘撞鐘’這項看似簡單的工作所代表的深刻意義。鐘聲不僅僅是寺裡作息的準繩，更為重要的是要喚醒沉迷的眾生。因此，鐘聲不僅要洪亮，還要圓潤、渾厚、深沉、悠遠。心中無鍾，即是無佛；不虔誠，不敬業，怎能擔當神聖的撞鐘重任呢？” 小和尚無言以對，心中很慚愧。

企業的主資料運維工作的主要內容是管理和維護系統的現有主資料規則，並根據業務情況對主資料分類、主資料編碼進行更新和規則變更。很多企業其實對主資料運維工作的重視程度是不夠的，將主資料運維看做是一項簡單的工作去做，安排的運維人員多數是非骨幹人員，甚至有的企業對於主資料運維沒有專職人員，都是相關業務部門兼職去做的。

在筆者看來，主資料是企業資料資產中的核心資產，企業應該給予一定的重視。企業主資料的運維人員是需要對企業核心價值鏈業務都熟悉的人員進行勝任的，例如：物料主資料，你首先要能夠識別物料是個啥，其次你要了解物料的來源、用途、價值、關鍵特徵的作用等，最後你還應該瞭解物料在設計環節、生產環節、倉儲環節、物流環節和售後環節的形態，只有這樣才好給物料進行歸類和賦碼。

作為主資料管理員，我們要為自己的職業和崗位感到驕傲和自豪，要清楚我們管理的主資料是企業的“黃金資料”，是企業最重要的資料資產。主資料的質量高低，直接影響業務的運營效率和管理決策的水平。一個優秀的主資料管理員不僅是能夠將日常的資料運維工作做好，還能夠透過自己的工作對企業全員的資料思維建立和企業資料治理文化的建設提供支撐，是企業數字化轉型的中堅力量！

寫在最後

本文寫於2019年10月，是當時個人對主資料相關工作的一些總結。目前又三年過去了，真是時間流逝啊！今天突然翻到之前的這篇文章，雖然過去三年了，再看本文，一些關於主資料管理觀點似乎已經過時，但其治理的本質依然值得借鑑。這裡推送給大家，希望大家批評指正。