來源：大魚的資料人生
主資料管理是資料治理的核心內容，最近大魚對主資料管理的內容進行了系統梳理，如果你想對主資料管理有體系化的理解，那就讀這一篇，本文共分為五個部分：
3、主資料管理實施：主資料管理的7個階段（專案規劃、現狀分析、治理保障、平臺建設、存量清晰、資料整合、外圍變更及運營分析）和25個實施步驟。4、主資料管理成熟度：主資料管理的五個層次，包括提供列表、同等訪問、集中匯流排處理、業務規則和政策支援及企業資料集中。5、主資料系統其它：主資料管理系統與數倉、ODS系統的區別。主資料（Master Data）是指在一個組織內部跨多個系統、應用程式和業務過程中共享、使用和維護的關鍵業務實體的核心資料。這些資料通常包括客戶、產品、供應商、員工和其他重要的業務物件的資訊。主資料的目的是確保資料在組織內的一致性、準確性和可靠性。主資料可以根據不同的業務領域和實體進行分類。以下是一些主資料類別：（1）客戶資料（Customer Data）：包括客戶的基本資訊、聯絡方式、交易歷史、信用評分等。（2）產品資料（Product Data）：包括產品的描述、分類、規格、價格、供應商資訊等。（3）供應商資料（Supplier Data）：包括供應商的基本資訊、聯絡方式、合同資訊、評價等。（4）資產資料（Asset Data）：包括組織的固定資產、裝置、設施、軟體許可等的詳細資訊。（5）員工資料（Employee Data）：包括員工的個人資訊、職位、履歷、培訓記錄、績效評估等。（6）組織資料（Organization Data）：包括公司的部門、地點、業務單元、成本中心等相關資訊。主資料具有一些特定的特徵，這些特徵使其在組織內具有重要的價值。以下是主資料的三個關鍵特徵：- 關鍵性（Criticality）：主資料包含組織內最關鍵的業務實體資訊，如客戶、產品、供應商等。這些資料對業務運營和決策過程至關重要。
- 共享性（Shareability）：主資料通常需要在組織內的多個部門、系統和業務過程中共享和使用。這要求主資料在不同的應用和業務場景中保持一致性和準確性。
- 永續性（Persistence）：主資料通常具有較長的生命週期，需要在一定時期內保持穩定。與其他型別的資料（如交易資料）相比，主資料的變更頻率較低。
《主資料管理實際白皮書1.0》針對主資料特徵給出了五個超越，是對這三個關鍵特徵的完美詮釋：- 超越部門。主資料不是那種侷限於某個具體職能部門的資料庫。主資料是滿足跨部門業務協同需要的，是各個職能部門在開展業務過程中都需要的資料，是所有職能部門及其業務過程的“最大公約資料”。
- 超越流程。主資料不依賴於某個具體的業務流程，但卻是主要業務流程都需要的。主資料的核心是反映物件的狀態屬性，它不隨某個具體流程而發生改變，而是作為其完整流程的不變要素。
- 超越主題。與資訊工程方法論中透過聚類方法選擇主題資料不同，主資料是不依賴於特定業務主題卻又服務於所有業務主題的有關業務實體的核心資訊。
- 超越系統。主資料管理系統是資訊系統建設的基礎，應該保持相對獨立，它服務於但是高於其它業務資訊系統，因此對主資料的管理要集中化、系統化、規範化。
- 超越技術。由於主資料要滿足跨部門的業務協同，因而必須適應採用不同技術規範的不同業務系統，所以主資料必須應用一種能夠為各類異構系統所相容的技術條件。從這個意義上講，面向微服務架構為主資料的實施提供了有效的工具。
主資料與其他型別的資料有密切的關係，它們在組織內相互依賴並共同支援業務運營和決策過程。以下是主資料與其他資料型別之間的一些關係：- 交易資料（Transactional Data）：交易資料是指記錄業務活動（如銷售訂單、採購訂單、發票等）的資料。交易資料通常與主資料密切相關，因為它們包含了與主資料實體（如客戶、產品、供應商等）相關的資訊。例如，銷售訂單可能包含客戶資訊、產品資訊以及價格等主資料。主資料為交易資料提供了基礎資訊和上下文，有助於實現業務過程的有效執行和監控。
- 後設資料（Metadata）：後設資料是描述其他資料的資料，例如資料的結構、格式、定義、來源等。後設資料在主資料管理過程中起著重要作用，因為它有助於識別、整合、清洗和標準化來自不同來源的主資料。透過使用後設資料，組織可以確保主資料的一致性、準確性和可靠性。
- 參照資料（Reference Data）：參照資料是一種用於支援其他資料的標準化和分類的資料，例如固定值列表、程式碼表、行業標準、度量單位等。參照資料在主資料管理過程中具有重要作用，因為它們有助於實現主資料的一致性和標準化。透過使用參照資料，組織可以確保主資料在不同系統和業務過程中保持一致。
- 分析資料（Analytical Data）：分析資料是用於支援決策和分析的資料，通常是透過對原始資料（如主資料和交易資料）進行彙總、轉換和加工生成的。主資料為分析資料提供了關鍵的基礎資訊，確保分析結果的準確性和可靠性。例如，在進行銷售分析時，需要使用客戶資料、產品資料等主資料來對銷售資料進行分組和歸類。
下圖示例了主資料與後設資料、交易資料（業務怇）的關係。主資料管理要做的就是從企業的多個業務系統中整合最核心的、最需要共享的資料（主資料），集中進行資料的清洗和豐富，並且以服務的方式把統一的、完整的、準確的、具有權威性的主資料分發給全企業範圍內需要使用這些資料的操作型應用和分析型應用，包括各個業務系統、業務流程和決策支援系統等。主資料管理使得企業能夠集中化管理資料，在分散的系統間保證主資料的一致性，改進資料合規性、快速部署新應用、充分了解客戶、加速推出新產品的速度。從 IT 建設的角度，主資料管理可以增強 IT 結構的靈活性，構建覆蓋整個企業範圍內的資料管理基礎和相應規範，並且更靈活地適應企業業務需求的變化。大多數的企業都存在主資料管理的問題，這是由於業務發展的漸進性以及IT技術發展的漸進性造成的，正是由於這種漸進性，各大企業的業務系統從經歷了從無到有，從簡單到複雜，從而形成了一個又一個的業務豎井，比如OA、HR、PLM 、CRM、ERP、MES等等。從根本上來說，不可能只使用一個業務系統就能覆蓋企業的所有業務，即便對一些國際大型的公司提供的套件來說也是一個不可能完成的任務(即便對套件來說，經常也存在一個跨國企業在不同的國家或地區部署多個例項的現象，也就是沒有集中部署該套件，而是在很多地方分散部署了該套件)。對企業來說，業務系統的構建更多是以專案為中心，從下而上的構建系統，而不是至上而下的構建系統，必然缺乏整個企業範圍內的統一規劃，從而使得一些需要在各個業務中共享的資料(主資料)被分散到了各個業務系統進行分別管理。分散管理的主資料由於沒有不具備一致性、準確性、完整性，使得各個企業普遍存在著產品管理不力、供應商管理不力、訂單管理不力等現象。解決這一問題的根本方法就是引入主資料管理(MDM)，主資料不光指需要共享的資料，更包含需要共享的業務規則和策略。先看示例，在沒有對主資料進行管理的情況下是這樣的：在費用控制系統中向供應商海康威視公司支付貨款，費控系統中該供應商的編碼是PAYV000345，完成付款後，費控系統需要向ERP系統傳遞付款的會計憑證，但是，ERP系統中海康威視公司的編碼是ERP00000123，如果費控系統直接把PAYV000345傳給ERP系統，ERP系統是不能識別的，那麼就需要建立一種對照表，把PAYV000345翻譯為ERP00000123才可以。在這種情況下，費控系統和ERP系統都需要有管理員維護各自系統的供應商資料（維護兩次），同時還得維護兩個系統之間供應商資料的對照關係，應用成本比較高，很不方便。這還僅僅是兩個系統之間的情況，如果系統更多，這種使用方式就太複雜了。在一種叫做主資料管理系統（MDM）的軟體中，由該系統的管理員統一維護供應商資料（維護一次），並且統一編制唯一性的編碼（如海康威視公司的主資料編碼是10002608），然後MDM再把這個供應商主資料推送給費控系統和ERP系統，這樣所有系統中的海康威視公司編碼都是統一的10002608，系統之間不再需要做編碼的翻譯，直接使用即可，大大的簡單化和標準化了供應商這類資料的應用。在實施和管理主資料過程中，組織可能會面臨許多挑戰。以下是一些主要的挑戰：- 資料質量：確保主資料的準確性、完整性、一致性和及時性是一個重要挑戰。資料質量問題可能源於資料輸入錯誤、重複記錄、不一致的資料表示等。解決這些問題需要實施有效的資料治理和資料質量管理策略。
- 資料整合：組織內可能存在多個資料來源和系統，它們儲存了不同格式和結構的主資料。將這些資料整合為一個統一、標準化的檢視是一個關鍵挑戰。解決這個問題需要實施資料整合和資料轉換技術，以便在組織內實現資料的一致性和可訪問性。
- 資料標準化：不同系統和業務部門可能採用不同的資料表示和編碼方式。在主資料管理過程中，需要將這些不同表示和編碼統一為一個組織內的標準。資料標準化是一個關鍵挑戰，需要實施後設資料和參照資料管理策略以解決。
- 資料安全和隱私：保護主資料的安全和隱私是一個重要挑戰，特別是涉及敏感資訊（如客戶個人資訊）時。組織需要遵循資料保護法規，實施適當的資料安全措施，如加密、訪問控制和資料脫敏等。
- 組織變革管理：實施主資料管理往往涉及到組織內的業務流程、系統和文化的變革。成功推動這些變革需要強大的領導力、合作和溝通。組織需要確保員工對主資料管理的重要性有充分的認識，並獲得必要的培訓和支援。
- 技術和工具選擇：選擇合適的技術和工具來支援主資料管理是一個關鍵挑戰。組織需要根據自身的業務需求、資料結構和資源來評估和選擇適當的主資料管理解決方案。
- 持續維護和更新：主資料管理是一個持續的過程，需要不斷地維護和更新資料，以適應組織內的業務變化。這需要投入時間、資源和人力來確保資料的質量和一致性。
要想將主資料管理做好，需要各層級領導足夠重視、全員參與，同時，構築起主資料管理的基礎能力，包括：組織、流程、 標準和工具等等。在主資料管理基礎能力中，組織、流程、 標準的建設80%決定了主資料專案的成敗和建設效果。大魚認為，主資料管理實施共分為專案規劃、現狀分析、治理保障、平臺建設、存量清晰、資料整合、外圍變更及運營分析七個階段，涉及25個實施步驟，如下圖所示：
對於公司的大多數主資料，雖然可能存在不一致，但大多時候問題並不嚴重，因為如果不一致問題已經嚴重影響到了生產，業務肯定是要強力介入並進行解決的，比如立個項，主資料的大多數問題在業務從0到1的建設過程中就已經基本解決了。因此，很多主資料問題是業務當前還能容忍，但長遠來講成本可能很高的問題，也就是重要而不緊急的事情，考慮到各個部門屁股決定腦袋的特點，主資料存在著天然的驅動力不足的問題。那麼誰最會考慮這種重要而不緊急的事情呢，誰又會考慮這種全域性和區域性的問題呢，顯然是公司的高層。因此，主資料的業務驅動一定首先來自公司高層，只要高層不覺得痛，跨領域的長期積累的主資料問題就很難實質性解決，獲得高層支援是主資料管理實施的第一推動。一個企業主資料會有很多，如果一次把所有主資料都管起來，工作量會很大，週期會很長，通常主資料會分2-3年去完成，並持續最佳化。這時候，主資料範圍確定就很重要，給每個主資料排個優先順序，企業最需要統一的、標準化程度高，基礎好的、資料一致性好的、資料量可控的都是排序依據，最終根據優先順序，我們分步建設主資料，這樣可按期看到階段性效果，便於專案推進。一般會設定公司領導小組，組長由管理層擔任，副組長由各部門的資料責任人擔任，領導小組負責主資料專案總體工作推進，制定總體工作思路和目標，協調各部門間專案推進過程中遇到的問題，確保專案的順利執行。領導小組一般會下設工作小組，工作小組組長一般由企業資料管理組織的相關負責人擔任，成員包括企業資料管理組織人員及各領域的資料專員，負責主資料專案的具體實施，開展相關能力建設和運營。根據自己的經驗，一般會設定幾個專業組協同推進，以下是一個示例供你參考：業務需求組：負責主資料相關業務流程梳理和業務管理規範的制定，明確主資料需求系統架構組：負責主資料系統整體架構的設計，確保架構合理、滿足各域生產應用需要平臺建設組：負責推進主資料系統建設工作，實現主資料庫、對外資料服務、資料稽核等關鍵能力資料架構組：負責推進各領域系統現有主資料的整合，形成一份統一的公司標準主資料各領域改造組：負責本領域系統的改造工作，確保與主資料系統的順利對接主資料專案由於涉及到多部門協同，進度控制比較難，因此一定要透過專案啟動會等形式明確專案計劃，大量的主資料專案由於前期缺乏承諾導致後期扯皮的產生，除了事前的專案計劃，事中也要採取通報等形式進行過程控制，及時發現問題並升級。第一、調研業務需求，包括哪些業務需要主資料支撐，對主資料有什麼要求和期望，第二、瞭解業務流程，包括業務如何辦理（如填表，工單），如何流轉（如是否需要審批），第三、瞭解業務應用，基於主資料有哪些業務場景。下圖顯示了家寬業務受理流程中涉及的地址主資料查詢和錄入情況。第一、調研主資料目前分佈在哪些系統中，未來使用主資料的系統有哪些，第二、主資料有哪些屬性欄位，資料關係如何，資料質量怎樣，第三、當前系統改造難易度，支撐哪種方式對接。下圖顯示了地址主資料查詢和錄入涉及的相關係統。基於現狀分析，可以確定存在的問題和改進點，分析出使用者對主資料建設的需求，包括管理體系、系統架構、業務流程、資料標準、資料質量、資料平臺等方面。主資料標準是主資料管理工作的核心內容。透過主資料標準，才能實現跨組織、跨部門、跨流程、跨系統的資料整合和共享。主資料標準也是打通企業橫向產業鏈和縱向管控的資料基礎。主資料標準一般分為三類：資料標準，管理標準和服務標準，但主資料標準體系的建設要適合企業的業務，適應企業的發展。標準的建設不能“先入為主”更不能“直接照搬”。資料標準：主要明確主資料的編碼規則、分類標準、命名規範、編碼顆粒度、屬性規範、主資料模型標準等，下圖示例了物料主資料模型和屬性描述規則。管理標準：主要明確組織、制度、流程、應用等管理規範及標準，比如明確各方職責，規範主資料的申請、變更及修改流程。服務標準：明確主資料整合服務介面規範，包括整合技術規範、開發規範、外圍系統接入規範等。企業要建立主資料管理組織，確定主資料工作的相關各方的責任和關係，包括確定主資料過程中的決策、管理、執行等活動的參與方和負責方，以及各方承擔的角色和職責等，如下圖所示：主資料管理組織目標是：統籌規劃企業的資料戰略；建立主資料標準規範體系、資料管理制主度和流程體系、資料運營和維護體系；依託主資料管理平臺，實施主資料標準化落地、推廣和運營。在明確了組織機構的同時，還要明確主資料管理崗位，主資料管理崗位可以兼職，也可以全職，根據企業實際情況而定。制度章程是確保對主資料管理進行有效實施的認責制度。建立主資料管理制度和流程體系是需要明確主資料的歸口部門和崗位，明確崗位職責，明確每個主資料的申請、審批、變更、共享的流程。基於主資料標準，對各來源歷史資料進行分析，明確資料採集、標準化、內容清洗及合併等方法，比如下圖示例了採用空間聚類、地址相似度等方法來實現相同地址合併。歸集歷史資料並實施資料清洗，透過資料清洗保證主資料的唯一性、準確性、完整性、一致性和有效性，然後透過系統校驗、查重及人工比對、篩查、核實等多種手段對主資料程式碼的質量進行檢查，最終形成一份高質量的主資料程式碼庫。完成主資料程式碼庫評審併發布到生產環境，同時做好主資料程式碼庫與源資料的對映，為外圍割接做好準備。主資料管理平臺是資料標準落地的載體，也是實現主資料統一標準、統一規則的支撐，還是有效實施主資料全生命週期管理和資料服務的平臺，以及實現資料從產生到應用，分層協同、全面治理的核心。主資料管理平臺有多種架構型別，包括集中式架構、分散式架構、註冊中心架構及混合架構，在選擇主資料管理架構時，需要考慮企業的業務需求、技術基礎設施、資料質量和安全性等因素。通常，一個好的MDM解決方案應該支援多種架構型別，並允許企業根據實際情況進行靈活配置和調整。集中式架構（Centralized Architecture）：在集中式架構中，所有的主資料都儲存在一箇中心資料庫中。企業各個業務系統透過API或其他整合技術訪問和更新這個中心資料庫。這種架構便於實現資料的一致性和標準化，但可能存在效能瓶頸和單點故障的風險。分散式架構（Distributed Architecture）：在分散式架構中，主資料分佈在多個資料庫或系統中，這些資料庫或系統可能位於不同的地理位置。資料透過資料整合技術（如ETL或訊息佇列）在各個節點之間同步。這種架構具有較高的可擴充套件性和容錯能力，但實現資料的一致性和標準化較為複雜。註冊中心架構（Registry Architecture）：在註冊中心架構中，主資料依然儲存在各個業務系統中，而MDM平臺只維護一個包含資料索引和對映關係的註冊中心。這種架構避免了資料遷移和同步的複雜性，但需要實時查詢和整合多個資料來源，可能影響資料訪問的效能。混合架構（Hybrid Architecture）：混合架構結合了集中式、分散式和註冊中心架構的優點，以滿足企業的不同需求和場景。例如，對於關鍵和公共的主資料，可以採用集中式儲存和管理；而對於分散和敏感的主資料，可以採用分散式儲存和註冊中心管理。指基於主資料標準，提供主資料的結構、屬性、關係、約束和規則的建模能力。固化資料清洗方法，包括對接入的資料進行匯聚、清洗、轉換、對映、去重、合併及載入，透過一系列的資料加工和處理形成標準統一的主資料。指對外提供主資料的變更、訂閱、查詢、同步、分發、通知等服務。指構建主資料管理流程，實現主資料的建立、變更、稽核等運維功能。主資料建立後，各業務系統需要基於主資料的管理要求變更主資料錄入、變更、查詢等流程，重新明確相關角色和職責，並對相關人員進行培訓，確保查詢和錄入的規範性，比如新的主資料管理系統提供了二種主資料的查詢方式：需要將主資料管理平臺與各個目標業務系統進行整合，以實現主資料的申請、稽核、分發等互動操作，從而最終實現主資料在多個系統之間的共享和統一。整合可以透過企業服務匯流排（ESB）方式，也可以透過Web Service和XML方式。由於每個業務系統複雜性不一樣，改造難度不一樣，並不是每個系統都要按照一個標準去整合，比如歷史資料各自如何清理、資料對照在哪裡做、資料是主動推送還是訂閱方式，最終往往透過多種整合方式，最終逐漸解決企業系統間的資料不一致問題。下圖給出了A系統（原來具備獨立的地址管理能力）整合地址主資料的示例，共要做四個方面改造：第一、A系統頁面整合地址主資料系統的管理頁面，呼叫地址主資料提供的API介面進行查詢變更等操作，下線原來的地址管理模組。第二、A系統新增與地址主資料系統的資料同步介面，保留一份地址主數系統的全量標準地址庫副本，供A系統內部高效使用。第三、由於地址主資料模型發生變更，A系統中原有的涉及地址資料的模型進行適配改造。主資料管理專案的實施能夠幫助企業初步建立起主資料的管理體系，但做好持續的運營工作，是發揮主資料價值的關鍵。有些專案實施過程很成功，但系統執行一段時間，比如半年、一年後，突然發現，主資料的質量已經回到了“解放前”。所以，實施主資料專案，只是資料治理的一個開始，企業要保持高質量的資料，必須持續的運營和不斷的最佳化。要建立主資料的運營管理團隊，推動主資料管理相關制度的落地和最佳化，做到定崗定責、責任到人，對主資料新增、變更、使用等的流程進行監督和改進，確保規範執行到位。主資料作為“黃金資料”是企業的核心資料資產，主資料質量的好壞決定了資料價值的高低，因此要建立一套主資料質量的運維體系，確保及時發現主資料的質量問題並閉環解決，如下示例了地址主資料的自動稽核流程：主資料的應用接入無法一蹴而就，特別是對於集團型企業有很大難度，需要制定周密的推廣計劃，逐步推廣到相關的業務系統中。根據主資料管理實施的複雜程度，可以把主資料管理可以分為五個層次，從低到高反映了主資料管理(MDM)的不同成熟度，下面是IBM的一個評估模型：Level 0 ：沒有實施任何主資料管理(MDM)，意味著企業的各個應用之間沒有任何的資料共享，整個企業沒有資料定義元素存在。Level 1 ：提供列表，Level1比Level 0的不同就是，各個部門雖然還是獨立維護各自的關鍵資料，但會透過列表管理維護一個鬆散的主資料列表，能夠向其他各個部門提供其需要的資料。Level 1依賴於人的協作，當資料量比較大時，資料維護的成本會變的很高，效率也會很低Level 2 ：同等訪問(透過介面的方式，各個系統與主資料主機之間直接互聯)，Level 2與Level 1相比，引入了對主資料的(自動)管理。透過建立資料標準，定義對儲存在中央知識庫中詳細資料的訪問和共享，為各個系統間共享使用資料提供了支援，也就是說一個應用可以呼叫另一個應用來更新或重新整理需要的資料。Level 3 ：集中匯流排處理，與Level 2相比，Level 3打破了各個獨立應用的組織邊界，使用各個系統都能接受的資料標準統一建立和維護主資料(Level 2的主資料主機上儲存的資料還是按照各個系統分開儲存的，沒有真正的整合在一起)。集中處理意味著為MDM構建了一個通用的、基於目標構建的平臺。Level 4 ：業務規則和政策支援，相對於Level 3，Level 4將主資料的業務規則進行集中管理，並跟各類業務流程進行整合，在確保資料準確性的前提下可以支撐規則的動態變更。比如，如果一個商店經理更新一個產品的價格，匯流排系統需要能夠和一個可信系統(比如，商品管理系統)進行協商以便使規則生效，也就是”一點更改，全域性生效“。Level 5 ：企業資料集中，匯流排和相關的主資料被整合到獨立的應用中，主資料和應用資料之間沒有明顯的分隔，他們是一體的。當一個有許可權的應用系統更新一個資料值時，公司內所有的系統實時反映這個變更，也就是”一點更改，實時生效“。首先，處理型別不同，主資料管理 (MDM) 系統是偏交易型的系統，它為各個業務系統提供聯機交易服務，系統的服務物件是呼叫中心、B2C、CRM 等業務系統；而資料倉儲是屬於分析型的系統，面向的是分析型的應用，是在大量歷史交易資料的基礎上進行多維分析，系統的使用物件是各層領導和業務分析、市場銷售預測人員等。其次，實時性不同，與傳統的資料倉儲方案的批次 ETL 方式不同，主資料管理系統在資料初始載入階段要使用 ETL，但在後續執行中要大量依賴實時整合的方式來進行主資料的整合和同步。第三，資料量不同，資料倉儲儲存的是大量的歷史資料和各個維度的彙總資料，可能會是海量的，而 MDM 儲存的僅僅是客戶和產品等資訊。雖然主資料管理系統和資料倉儲系統異同共存，但是二者卻有著緊密的聯絡，並且可以互為促進、互為補充。舉例而言，資料倉儲系統的分析結果可以作為衍生資料輸入到 MDM 系統，從而使 MDM 系統能夠更好地為操作型 CRM 系統服務。首先，二者儲存的資料內容是全然不同的，主資料管理系統主要儲存客戶、產品、供應商等核心物件資料，而ODS儲存的資料包括事務資料、業務流程資料等。其次，二者的目的不同，主資料管理系統主要關注實時或接近實時的資料處理，以實現資料的實時一致性，而ODS主要用於處理事務資料和業務流程資料，以支援實時業務決策和報表需求。第三，主資料管理系統通常不儲存資料的歷史變化，只關注當前最新的主資料。而ODS可能會儲存一定的資料歷史，以便支援企業的短期趨勢分析和歷史報表需求。
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/70024922/viewspace-2946460/，如需轉載，請註明出處，否則將追究法律責任。
