資料治理：資料標準管理的內容和實踐

　　資料標準管理是資料管理的基礎性工作，是企業資料治理的首要環節，對於企業釐清資料資產、打通資料孤島、加快資料流通、釋放資料價值有著至關重要的作用。

　　 01 什麼是資料標準？

　　筆者經常會問客戶一個問題：什麼是客戶？有些客戶對這個問題不屑一顧，覺得這算什麼問題呀，自己天天和客戶打交道，難道還不清楚什麼是客戶嗎？然而事實上筆者聽到的是不同的人對“客戶”的不同理解，並不一致。

　　財務會計說：“客戶就是與我們發生業務往來、需要進行應收應付記賬的組織或個人。”銷售人員說：“買了我產品或服務的就是我們的客戶呀。”市場人員說：“有潛力和意向採購我們產品和服務的人都是我們的客戶。”等等。

　　在很多企業中經常會出現，因為大家對於同一個事物的理解不同而造成溝通不暢，有時還會為某個事物的定義（或含義）爭論不休且未得出結論。歸根到底，這是缺乏統一的資料標準造成的。

　　“資料標準”並非一個專有名詞，而是一系列規範性約束的抽象。資料標準的具體形態通常是一個或多個資料元的集合。

　　以下是關於資料標準的解釋，供參考：

　　資料標準是各部門之間關於通用業務術語的定義，以及這些術語在資料中的命名和表示方式的協議。

　　資料標準是一組資料元的組合，可以描述如何儲存、交換、格式化及顯示資料。

　　資料標準是一組用於定義業務規則和達成協議的政策和程式，標準的本質不僅是後設資料的合併、資料的形式描述框架，甚至還是資料定義和治理的規則。

　　資料標準是企業各個利益相關者希望共同發展的一種共同語言。

　　資料標準是用於資料整合和共享的單一資料集，是資料分析和應用的基礎。

　　 02 資料標準的作用

　　資料標準適用於業務資料描述、資訊管理及應用系統開發，既可作為經營管理中所涉及資料的規範化定義和統一解釋，也可作為資料管理的基礎，同時也是在應用系統開發時進行資料定義的依據。

　　在企業的資料管理和資料應用中，資料標準除了能防止資料物件、資料屬性的定義之間的衝突，還對企業應用系統的整合和資料分析挖掘具有重要意義。

　　資料標準可以增強各業務部門對資料理解的一致性，提升溝通效率。

　　資料標準可以減少資料轉換，促進系統整合和資訊資源的共享。

　　資料標準可以促進企業級單一資料檢視的形成，支援資料管理能力的發展。

　　資料標準有助於對資料進行統一規範的管理，消除各部門間的資料壁壘，支援業務流程的規範化。

　　資料標準有利於提高資料質量。可以基於資料標準的規範化定義對企業資料質量進行檢查，找出有問題的資料，出具資料質檢報告。

　　資料標準有利於規範化管理資料資產。資料標準是資料資產梳理和定義的基礎。對於一家擁有大量資料資產或者要實現資料資產交易的企業而言，構建資料標準是一件必須做的事情。

　　 03 資料標準管理的3個常見問題

　　在資料標準管理過程中經常會遇到各種問題和挑戰，例如：在制定資料標準的過程中，各業務部門都從自己的業務角度出發，從而難以形成統一的資料標準的定義。再如，不同語境下的資料定義存在歧義，資料標準的制定與使用脫節等，造成資料標準在實際業務中用不起來。

　　1、資料語義不清晰

　　當獨立使用一個系統時，相關業務術語、相關聯語義可能是一致的，但如果需要在兩個或多個環境之間比較，含義上的細微差別就會被放大。例如：CRM系統中的“客戶”資料是包含意向客戶、潛在客戶的，而財務管理系統中的“客戶”是產生了財務往來的“客戶”，兩個系統的“客戶資料量”統計差距很大。

　　2、資料定義和使用語境

　　資料定義的歧義主要表現在同名異義、同義異名的情況。

　　同名異義是指名稱相同但代表的含義不同，常見的是相同名稱的資料在不同的語境中所代表的含義是不同的。比如“黑色”，用作描述物體屬性時，它代表一種顏色，而用來形容人心時，它就代表著邪惡或偽善。

　　同義異名是指含義相同但命名不同的情況，比如，同樣的“姓名”有“員工姓名”和“職工姓名”兩種叫法，很可能開發人員給它們定義的標識分別為“YGXM”和“ZGXM”。

　　在資料標準化的過程中，不僅要定義資料元素的標準，還需要描述該資料元素使用的語境。建議企業採用集思廣益的方式將模稜兩可的資料定義暴露出來，以便提升企業對資料標準化，以及企業相關人員對資料語義的共同理解和認知。

　　3、標準的制定和使用兩層皮

　　資料標準是資料一致性、完整性、準確性的保證，是資料分析、資料整合的基礎。資料標準的建立需要經過審批、釋出，然後是推廣和使用。同時，還需要評估資料標準的落地情況，透過評估定位資料問題並進行整改，以保證制定出的資料標準被正確使用，避免標準制定和標準執行兩層皮。

　　 04 資料標準管理內容

　　一套完整的資料標準體系是企業資料管理和應用的基礎，有利於打通資料底層的互通性，提升資料的可用性，消除資料業務歧義。

　　企業的資料標準一般包含4方面內容：資料模型標準、基礎資料標準、主資料與參考資料標準、指標資料標準。

　　1、資料模型標準

　　資料模型標準化是對每個資料元素的業務描述、資料結構、業務規則、質量規則、管理規則、採集規則進行清晰的定義，讓資料可理解、可訪問、可獲取、可使用。資料模型反映的是對業務的理解和定義，能夠幫助企業建立組織內部和組織之間溝通的橋樑。資料模型可以用於識別丟失和冗餘的資料，並且有助於在ETL過程中記錄資料對映。

　　資料模型標準透過技術後設資料、業務後設資料進行模型描述，將業務資訊和技術資訊完整體現在資料模型中，並確保資料模型能夠準確、完整地反映業務需求和相關技術約束，如圖所示：　　

　　資料模型要準確反映業務需求。如果資料模型不能夠準確反映業務需求，會令整個資料模型的實用性和價值大打折扣，很難達到預期效果。

　　2、基礎資料標準

　　基礎資料是系統的資料字典，在系統初始化時就存在於系統資料庫中，是結構性或功能性的支撐。例如：國家地區、行政區劃、郵政編碼、性別程式碼、計量單位程式碼等。

　　基礎資料標準一般會涉及國際標準、國家標準和行業標準。在定義資料實體或元素時可以引用相關標準，再根據企業的需求不斷補充完善、更新最佳化和積累，以便更好地支撐業務應用的開發、資訊系統的整合和企業資料的管理。

　　基礎資料標準通常用來對應用系統或資料倉儲的資料字典進行標準化，一般包含業務屬性、技術屬性、管理屬性三部分，如圖所示：　　

　　業務屬性用來描述基礎資料的業務資訊，以方便業務人員理解，例如標準主題、標準分類、標準編碼、標準中文名稱、標準英文名稱、業務定義、業務規則、引用的相關標準、標準來源和依據等。

　　技術屬性用來描述基礎資料的技術資訊，支援系統的實現，例如資料型別、資料格式、長度、程式碼的編碼規則、取值範圍等。

　　管理屬性用來描述基礎資料的管理資訊，支援對資料的管理和操作，例如標準定義者、標準管理者、標準使用者，以及標準的版本、應用領域、使用系統等。

　　基礎資料標準的穩定性比較強，一經發布，一般不會輕易變更，它屬於企業各系統之間共享的公共程式碼。

　　3、主資料與參考資料標準

　　主資料是用來描述企業核心業務實體的資料，比如客戶、供應商、員工、產品、物料等。它是具有高業務價值、可以在企業內跨業務部門被重複使用的資料，被譽為企業的“黃金資料”。

　　參考資料是用於將其他資料進行分類或目錄整編的資料，是規定資料屬性的域值範圍。參考資料一般以國際標準、國家標準或行業標準為依據，是固定不變的資料。例如：人員是一個主資料，人員的性別、民族、學歷是它的參考資料，如圖所示：　　

　　主資料標準包含主資料分類、主資料編碼和主資料模型。

　　主資料分類是根據主資料的屬性或特徵，將其按一定的原則和方法進行區分和歸類，並建立起一定的分類體系和排列順序。

　　主資料編碼是為事物或概念（編碼物件）賦予具有一定規律、易於計算機和人識別處理的符號，形成程式碼元素集合。對各類主資料概念的正確理解依賴於主資料分類，對各類主資料作出唯一表示依賴於主資料編碼。

　　主資料模型即基於主資料屬性的邏輯模型或物理模型，包括每個屬性的名稱、屬性性質、型別、質量規則、取值範圍等。

　　3、指標資料標準

　　企業的各業務域、各部門均有其相應的業務指標，這些指標有的名稱相同卻有著不同的業務含義，而有的指標雖然名稱差異很大，但在業務上卻是同一個指標。

　　指標資料標準是在實體資料基礎之上增加了統計維度、計算方式、分析規則等資訊加工後的資料，它是對企業業務指標所涉及指標項的統一定義和管理。指標資料標準與基礎資料標準一樣，也包含業務屬性、技術屬性、管理屬性三部分，如圖所示：　　

　　指標業務屬性一般包括指標編碼、指標中文名稱、指標英文名稱、指標主題、指標分類、指標型別、指標的業務定義、指標的業務規則、指標的資料來源、取數規則、統計維度、計算公式、顯示精度、相關基礎資料標準等。

　　指標技術屬性一般包括指標來源系統、指標使用系統、資料來源表、資料型別、度量單位、取值範圍、指標生成頻度、指標計算週期、指標取數精度等。

　　指標管理屬性一般包括歸口管理部門、業務負責人、技術負責人、指標許可權範圍等。

　　 05 資料標準管理的4個優秀實踐

　　資料標準管理的目的在於讓企業內資訊系統的建設和整合遵循這些標準，同時作為資料治理制度的延伸，保證資訊系統所需資料標準的完整性、適用性並得以執行。

　　有效的資料標準管理將企業資訊的獲取、轉換、儲存、檢索、開發、傳遞直到使用者使用等環節緊密銜接起來，有利於深層次地開發和利用資料資源，併發揮海量資料的整合利用效果。在資料標準的貫徹和落地過程中，應在業務部門、業務系統中循序漸進、迭代式地執行資料標準，並獲得管理層的充分支援、系統開發部門的大力配合，這樣資料標準才能夠切實執行下去。

　　資料標準管理的優秀實踐如下：

　　1、業務主導

　　資料標準來源於業務，服務於業務，資料標準化問題歸根到底還是管理問題，應從業務入手。建立資料標準，不僅是為了解決不同資訊系統之間的資料互通問題，還為了讓不同業務部門之間達成共識。資料標準的制定以企業的價值鏈為主線，按業務域一點點地梳理，這個工作量比較大。單靠工具不能做好標準化，技術和工具是最後用來固化資料標準執行的，而標準梳理工作主要靠各業務條線的人員。

　　2、循序漸進

　　從價值鏈、業務流程角度進行分段實施，不要企圖一次實施所有的資料管理標準。企業應根據業務需求，結合系統改造和新系統建設的契機，選擇適當的資料標準落地範圍和層次，對亟待解決的標準問題進行落地。分段的目的是明確各業務部門的資料職責，使資料與業務流程相匹配。

　　3、動態管理

　　對於資料標準管理，最重要的是保持資料定義、標準設計和標準使用的一致性。但資料標準不是一成不變的，比如企業在擴充新業務的時候，需要增加相應的標準，對於沒有價值的標準，要及時廢棄。

　　資料是動態變化的，資料標準也要與時俱進，並具有前瞻性。企業需要建立資料標準體系的持續更新機制和具備資料標準動態管理的資料治理平臺，實現資料標準版本的管理，便於持續維護改進，方便問題查詢。

　　4、應用為王

　　資料標準化是企業資訊化建設最根本、最基礎的基石性工作，資料的標準化工作要著眼於企業資訊系統的整體規劃及應用方向和需求，必須做到標準、統一、一致。資料標準化工作做得好，會為後續的BI、大資料分析建模打下良好的基礎。

　　任何一個企業建設資料標準都不是為了建標準而建標準，而是為了讓資料標準服務於業務，提升業務效率。應結合企業IT系統的現狀，以落地應用為目的，以企業現行的各類國標、行標為基礎，以對現有系統的影響最小為原則編制和落地標準，這樣才能確保標準切實可用，讓資料標準最終迴歸到業務應用中，發揮作用。

　　 寫在最後的話

　　企業資料治理的成效很大程度上取決於資料標準的合理性和統一實施的程度。企業資料標準體系的建設應既滿足當前的實際需求，又能著眼未來與國際、國內的資料標準接軌。企業資料標準主要包括資料模型標準（後設資料標準）、主資料標準與參考資料標準、資料指標標準等，每類資料標準都可以作為是一個獨立主題實施。

　　數字化的特點是“資料驅動”，而實現“資料驅動”的前提是資料必須是標準的、規範的、消除了大部分資料質量問題的。統一的資料標準，能夠讓業務人員輕鬆獲取資料，從而讓業務人員自助式地進行資料分析、資料探索提供了可能。因此，資料標準是實現“資料驅動管理”、“資料驅動創新”的基礎。