資料治理：資料質量管理策略！

資料質量管理包含正確定義資料標準，並採用正確的技術、投入合理的資源來管理資料質量。資料質量管理策略和技術的應用是一個比較廣泛的範疇，它可以作用於資料質量管理的事前、事中、事後三個階段。

資料質量管理應秉持預防為主的理念，堅持將“以預控為核心，以滿足業務需求為目標”作為工作的根本出發點和落腳點，加強資料質量管理的事前預防、事中控制、事後補救的各種措施，以實現企業資料質量的持續提升，如下圖所示。

東漢史學家荀悅在《申鑑·雜言上》中提到對皇帝進獻忠告的三種方法，也稱進忠有三術：“一曰防，二曰救，三曰戒。先其未然謂之防，發而止之謂之救，行而責之謂之戒。防為上，救次之，戒為下。”

事前預防即防患於未然，是資料質量管理的上上之策。 資料質量管理的事前預防可以從組織人員、標準規範、制度流程三個方面入手。

企業需要建立一種文化，以讓更多的人認識到資料質量的重要性，這離不開組織機制的保障。建立資料質量管理的組織體系，明確角色職責併為每個角色配置適當技能的人員，以及加強對相關人員的培訓和培養，這是保證資料質量的有效方式。

企業在實施資料質量管理時，應考慮在資料治理整體的組織框架下設定相關的資料質量管理角色，並確定他們在資料質量管理中的職責分工。常見的組織角色及其職責如下。

資料不準確的主要原因是人為因素，加強對相關人員的培訓，提升人員的資料質量意識，能夠有效減少資料質量問題的發生。

資料質量管理培訓是一個雙贏的過程。

對於員工來說，透過培訓，自己不僅能夠認識到資料質量對業務和管理的重要性，還能學習到資料管理理論、技術、工具等知識和技能，確保上游業務人員知道他們的資料對下游業務和應用程式的影響，讓自己在工作中儘可能不犯錯、少犯錯，提高自己的業務處理效率和質量。

對於企業來說，透過培訓，可以使資料標準得到宣貫，提升員工的資料思維和對資料的認識水平，建立起企業的資料文化，以支撐企業資料治理的長治久安。

此外，企業應鼓勵員工參加專業資格認證的培訓，這樣能夠讓相關人員更加系統性地學習資料治理知識體系，提升資料管理的專業能力。

資料標準的有效執行和落地是資料質量管理的必要條件。資料標準包括資料模型標準、主資料和參考資料標準、指標資料標準等。

資料模型標準數對資料模型中的業務定義、業務規則、資料關係、資料質量規則等進行統一定義，以及透過後設資料管理工具對這些標準和規則進行統一管理。在資料質量管理過程中，可以將這些標準對映到業務流程中，並將資料標準作為資料質量評估的依據，實現資料質量的稽查核驗，使得資料的質量校驗有據可依，有法可循。

主資料和參考資料標準包含主資料和參考資料的分類標準、編碼標準、模型標準，它們是主資料和參考資料在各部門、各業務系統之間進行共享的保障。如果主資料和參考資料標準無法有效執行，就會嚴重影響主資料的質量，帶來主資料的不一致、不完整等問題，進而影響業務協同和決策支援。

指標資料是在業務資料基礎上按照一定業務規則加工彙總的資料，指標資料標準主要涵蓋業務屬性、技術屬性、管理屬性三個方面。指標資料標準統一了分析指標的統計口徑、統計維度、計算方法的基礎，不僅是各業務部門共識的基礎，也是資料倉儲、BI專案的主要建設內容，為資料倉儲的資料質量稽查提供依據。

資料質量管理是一個閉環管理流程，包括業務需求定義、資料質量測量、根本原因分析、實施改進方案、控制資料質量等

資料質量管理制度設定考核KPI，透過專項考核計分的方式對企業各業務域、各部門的資料質量管理情況進行評估。以資料質量的評估結果為依據，將問題資料歸結到相應的分類，並按所在分類的權值進行量化。總結髮生資料質量問題的規律，利用資料質量管理工具定期對資料質量進行監控和測量，及時發現存在的資料質量問題，並督促落實改正。

資料質量管理制度的作用在於約束各方加強資料質量意識，督促各方在日常工作中重視資料質量，在發現問題時能夠追根溯源、主動解決。 

資料質量管理的事中控制是指在資料的維護和使用過程中監控和管理資料質量。透過建立資料質量的流程化控制體系，對資料的建立、變更、採集、清洗、轉換、裝載、分析等各個環節的資料質量進行控制。

“問渠那得清如許，為有源頭活水來。”瞭解資料的來源對於企業的資料質量至關重要，從資料的源頭控制好資料質量，讓資料“規範化輸入、標準化輸出”是解決企業資料質量問題的關鍵所在。企業可以考慮從以下幾個方面做好源頭資料質量的管理。

資料字典是記錄標準資料、確保資料質量的重要工具。資料會隨著時間累積，如果資料積累在電子表格等非正式資料系統中，那麼這些寶貴的資料就可能會存在一定的風險，例如可能會隨著關鍵員工的離職而丟失。透過建立企業級資料字典對企業的關鍵資料進行有效標識，並清晰、準確地對每個資料元素進行定義，可以消除不同部門、不同人員對資料可能的誤解，並讓企業在IT專案上節省大量時間和成本。

資料質量差的一個根本原因是人為因素，手動輸入資料，很難避免資料錯誤。因此，企業應該考慮自動化輸入資料，以減少人為錯誤。一個方案，只要系統可以自動執行某些操作就值得實施，例如，根據關鍵字自動匹配客戶資訊並自動帶入表單。

對於疾病，預防比治療更容易，資料治理也一樣。我們可以透過預設的資料質量規則對輸入的資料進行自動化校驗，對於不符合質量規則的資料進行提醒或拒絕儲存。資料質量校驗規則包括但不限於以下幾類。

資料質量稽核是從源頭上控制資料質量的重要手段，採用流程驅動的資料管理模式，控制資料的新增和變更，每個操作都需要人工進行稽核，只有稽核透過資料才能生效。例如：供應商主資料發生新增或變更，就可以採用人工稽核的方式來控制資料質量。

資料質量問題不止發生在源頭，如果以終端使用者為終點，那麼資料採集、儲存、傳輸、處理、分析中的每一個環節都有可能出現資料質量問題。所以，要對資料全生命週期中的各個過程都做好資料質量的全面預防。資料流轉過程的質量控制策略如下。

在資料採集階段，可採用以下質量控制策略：

在資料儲存階段，可採用以下質量控制策略：

在資料傳輸階段，可採用以下質量控制策略：

在資料處理階段，可採用以下質量控制策略：

是不是做好了事前預防和事中控制就不會再有資料質量問題發生了？答案顯然是否定的。事實上，不論我們採取了多少預防措施、進行了多麼嚴格的過程控制，資料問題總是還有 “漏網之魚”。你會發現只要是人為干預的過程，總會存在資料質量問題，即使拋開人為因素，資料質量問題也無法避免。為了儘可能減少資料質量問題，減輕資料質量問題對業務的影響，我們需要及時發現它並採取相應的補救措施。

定期監控資料的狀況，為資料在某種程度上符合預期提供保障，發現資料質量問題及資料質量問題的變化，從而制定有效的改進措施。定期質量監控就像人們定期體檢一樣，定期檢查身體的健康狀態，當某次體檢資料發生明顯變化時，醫生就會知道有哪些資料出現異常，並根據這些異常資料採取適當的治療措施。

對於資料也一樣，需要定期對企業資料治理進行全面“體檢”，找到問題的“病因”，以實現資料質量的持續提升。

儘管資料質量控制可以在很大程度上起到控制和預防不良資料發生的作用，但事實上，再嚴格的質量控制也無法做到100%的資料問題防治，甚至過於嚴格的資料質量控制還會引起其他資料問題。因此，企業需要不時進行主動的資料清理和補救措施，以糾正現有的資料問題。

對經資料質量檢核檢查出的重複資料進行人工或自動處理，處理的方法有刪除或合併。例如：對於兩條完全相同的重複記錄，刪除其中一條；如果重複的記錄不完全相同，則將兩條記錄合併為一條，或者只保留相對完整、準確的那條。

派生資料是由其他資料派生出來的資料，例如：“利潤率”就是在“利潤”的基礎上計算得出的，它就是派生資料。而一般情況下，儲存派生出的資料是多餘的，不僅會增加儲存和維護成本，而且會增大資料出錯的風險。如果由於某種原因，利潤率的計算方式發生了變化，那麼必須重新計算該值，這就會增加發生錯誤的機會。因此，需要對派生資料進行清理，可以儲存其相關演算法和公式，而不是結果。

處理缺失值的策略是對缺失值進行插補修復，有兩種方式：人工插補和自動插補。對於“小資料”的資料缺失值，一般採用人工插補的方式，例如主資料的完整性治理。而對於大資料的資料缺失值問題，一般採用自動插補的方式進行修復。自動插補主要有三種方式：

當然，最為有效的方法是採用相近或相似數值進行插補，例如利用機器學習演算法找到相似值進行插補修復。

異常值處理的核心是找到異常值。異常值的檢測方法有很多，大多要用到以下機器學習技術：

經過資料質量測量、資料問題根因分析以及資料質量問題修復，我們可以回過頭來評估資料模型設計是否合理，是否還有最佳化和提升的空間，資料的新增、變更、採集、儲存、傳輸、處理、分析各個過程是否規範，預置的質量規則和閾值是否合理。如果模型和流程存在不合理的地方或可最佳化的空間，那麼就實施這些最佳化。

事後補救始終不是資料質量管理的最理想方式，建議堅持以預防為主的原則開展資料質量管理，並透過持續的資料質量測量和探查，不斷發現問題，改進方法，提升質量。

儘管可能沒有一種真正的萬無一失的方法來防止所有資料質量問題，但是使資料質量成為企業資料環境“DNA”的一部分將在很大程度上能夠獲得業務使用者和領導的信任。