傅一平：資料質量管理的實踐和思考

文章轉載自微信公眾號”與資料通行“，作者：傅一平

人道是：“紙上得來終覺淺，絕知此事要躬行”，但對於已經有一定經驗的資料管理者來說，往往需要倒過來做，即“躬行得來終覺窄，絕知此事要系統”，資料質量是資料的生命線，那麼，資料質量應該如何體系化提升呢?

本文提出了一個“5-8-2”的資料質量管理框架，圍繞這個框架，首先介紹了包含5個階段的六西格瑪質量管理方法，其次詳細介紹了資料質量管理的8個步驟，並輔以案例說明，最後給出了資料質量管理的2大保障體系。

一、“5-8-2”的資料質量管理框架

在六西格瑪質量管理理論和麥吉利夫雷的資料質量十大步驟【1】基礎上，本文給出一個“5-8-2”的資料質量管理提升框架，框架分為5個階段，8個步驟及2大保障，如下圖所示：

5個階段：

資料質量管理為定義、檢查、分析、提升及控制5個階段，這個與經典的六西格瑪(縮寫：6σ 或 6Sigma)方法是一脈相承的，六西格瑪管理(Six Sigma)是一種以資料分析和統計學為基礎的管理方法，旨在透過識別和消除導致業務流程變異的根本原因來實現業務流程的改進和質量的提高，六西格瑪重點強調質量的持續改進，對於資料質量問題的分析和管理，該方法依然適用。

8大步驟：

六西格瑪對映到資料質量管理領域，共覆蓋明確資料質量需求、進行資料質量檢查、評估業務問題影響、確定問題根本原因、制定質量提升方案、修復當前資料錯誤、預防未來資料錯誤、實施資料質量運維8個步驟。

2個保障：

資料治理體系保障及資料環境分析保障2個模組為資料質量提升提供保障能力，貫穿了所有8個步驟。

二、資料質量管理八大步驟

1、明確資料質量需求

(1)明確業務問題和優先順序

應該關注那些由於資料質量問題導致的收入損失、風險增加、流程卡頓等業務問題，並按照對業務的影響程度(比如費效矩陣)進行排序，要確保利益相關者充分發表他們的關注點和意見。

以下是一個示例：

“XX公司市場部希望對XX個小區的使用者進行寬頻營銷，需要後端網路部門核實XX個小區的寬頻資源覆蓋情況，但後端寬頻網路資管系統維護的小區覆蓋地址資訊無論是格式和內容都跟市場XX小區不一致，因此，後端網路部門只能透過人工排摸的方式去確認實際覆蓋情況，這極大影響了前端市場寬頻使用者的發展。公司相關部門認為解決地址資料的前後端一致問題能為業務帶來更多收益，同時降低管理成本，該項工作被納入公司改革專案。”

(2)制定資料質量專案方案

根據對業務需求涉及的資料問題分析，明確資料質量管理範圍和需求，制定具體的資料質量管理目標;明確專案的時間計劃並透過資料治理委員會(或相關資料治理組織)決策透過。

以下是一個目標示例：

“XX公司本次資料質量提升的目標是建立地址資料的標準，實現前端市場小區的地址資訊和後端網路的覆蓋地址資訊保持一致，考慮到地址資料涉及的系統和流程較多，本次改造僅針對YY個流程的ZZ各系統進行變更。”

2、進行資料質量檢查

(1)選擇合適的資料質量維度

依據資料質量管理需求及業務目標，對資料的內容、質量和結構進行剖析，發現資料不規範問題和使資料專案處於危險中的隱藏資料問題，據此選擇合適的的資料質量維度組合，定義具體的校驗規則與方法，提供資料質量水平基線，這是判斷資料是否符合資料質量要求的邏輯約束。

以下分別是一個資料剖析框架和一個資料質量維度與規則框架示例：

準確性維度分類中存在一個規則型別，名稱叫“值的約束類”，描述是“屬性值必須支援為該屬性值定義的可接受值”，度量指標是“符合約束的記錄/總記錄”，符合性閾值可以根據資料剖析的結果定義為一個固定比例值，比如針對下圖資料剖析的“Product_key”欄位，約束是“非空”，度量指標是“欄位的值屬於“非空”的記錄/總記錄數”，符合性閾值是“80%”，現在發現非空比例是61512/61512=100%，這代表該屬性符合資料質量規則，達到了資料質量基線水平：

(2)用所選擇的維度評估質量

基於資料質量環境分析(包括組織、角色、流程、系統和資料模型等)，明確資料質量維度評估的方案和計劃，依據預先配置的規則和演算法，對系統中的資料進行監測和校驗，給出資料質量評估結果。

下圖示例了一個資料質量監控引擎的執行流程：

3、評估業務問題影響：

針對資料質量檢查結果對業務影響進行評估，評估的方法包括業務影響的5個“為什麼”，應用使用、流程影響、成本和收益的影響、費效矩陣等等，評估完成後還需進行要解決的業務問題的優先順序排序，最終形成資料質量業務影響報告。

下面示例了2個評估方法，分別是業務影響的5個“為什麼”及流程影響【1】：

(1)基於5個“為什麼”的評估

假如存貨清單資料不正確，問5次“為什麼”，直接獲得業務影響。

提問：為什麼存貨清單資料很重要?

回答：存貨報表要用到存貨清單資料。

提問：為什麼存貨報表很重要?

回答：採購過程要用到存貨報表。

提問：為什麼採購過程要使用存量報表?

回答：採購過程根據存貨報表決定購買細節，採購過程決定訂購或不訂購零部件和製造產品所需的原材料。

提問：為什麼採購過程的決策很重要?

回答：如果存貨資料存在錯誤，採購過程將不能在正確的時間購買，缺少零部件和製造產品所需的原材料將影響產品製造時間表，進而推遲產品發往客戶的時間，這將影響公司的收益和資金流動。

(2)流程影響的評估

在這個例項中，ERP中需要提供供貨商主記錄，以便放置供貨商訂單、發票和僱員開支報表等資訊，下圖顯示了供貨商主記錄請求正確的流程：

如果供貨商主記錄請求不完整或有錯誤，將導致供貨商主記錄請求被拒絕，產生的影響包括：

(1)向供貨商下訂單、向供應商付款、報銷僱員費用的時間延遲

(2)資料管理團隊的重複工作(拒絕請求、確認和調查解決方案、對新請求重新審查)

(3)提交初始請求的採購人員或僱員的重複工作(審查並重新提交)

(4)沮喪的僱員和供應商

(5)因為沒有付款而導致的公司服務損失

4、確定問題根本原因

基於業務影響評估和優先順序排序，對重點關注的資料質量問題進行深入分析，透過追問“為什麼”、資料溯源、魚骨圖等方式來找到根本原因，然後給出針對性的提升建議。

根因分析是預防問題再次發生的前提，但日常工作中為了應對緊急情況，往往採取臨時性的解決方案，導致治標不治本，比如資料倉儲基於演算法來進行地址資料的稽核和修正，但實際是由於多源錄入或源端錄入的不規範造成的。

(1)追問“為什麼”

假如發現存在客戶主記錄重複的問題。

提問：為什麼存在重複記錄?

回答：因為客服服務代表經常建立新的主記錄而不是說使用現有的記錄。

提問：為什麼他們建立新的記錄而不使用現有記錄?

回答：因為客戶服務代表不想對現有記錄進行搜尋。

提問：為什麼客戶代表不想對現有記錄進行搜尋?

回答：因為從輸入搜尋請求到獲取搜尋結果花費的時間太長。

提問：為什麼搜尋時間太長?

回答：因為客戶服務代表在搜尋技術方面未受到適當培訓，加之系統效能差。

提問：為什麼搜尋時間太長是一個問題?

回答：因為客戶服務代表是透過建立和完成記錄來進行評價的，重視資料質量沒有任何回報，並且沒有意識到重複記錄會給其它業務帶來問題。

可能發現不止一個根本原因，並且需要沿著每個分支繼續詢問下去，透過考慮為什麼的結果，確定哪些根本原因能得到解決。

(2)資料溯源

血緣分析可以實現對資料生命週期的追蹤，透過每個追蹤節點輸入和輸出的資料異動可以定位問題。

以下是一個示例：

(3)魚骨圖

魚骨圖是一種發現問題“根本原因”的方法，它也可以稱之為“Ishikawa”或者“因果圖”。其特點是簡潔實用，深入直觀。它看上去有些像魚骨，問題或缺陷(即後果)標在“魚頭”處。在魚骨上長出魚刺，上面按出現機會多寡列出產生問題的可能原因，有助於說明各個原因是如何影響後果的。

以下是一個示例：

實踐中我們會發現，資料質量問題的產生主要在於資料產生環節，其次在於資料整合環節的資料加工過程，而在資料使用環節，基本上不產生資料質量問題，如下圖所示。

究其原因，可能跟資料的不同使用目導致不同的資料質量要求有關，業務系統對資料的使用目的主要是為了保證業務流程的正常運轉和滿足一些簡單的統計功能，因此只要業務流程和統計正常，就可以認為資料質量滿足要求;而分析型系統對資料的使用目的則多種多樣，而且涵蓋企業運營的方方面面，那麼滿足業務流程正常運轉的需要並不一定就能保證滿足分析的需求，因此，根因分析對徹底解決資料質量問題是非常關鍵的。

5、制定質量提升方案

基於資料質量或業務影響評估結果，以及根本原因分析中獲得的建議，制定一個行動方案(糾正資料錯誤或預防資料質量問題)，明確實施方案的組織、人員和計劃。

以下示例了地址主資料一致性提升的舉措、目標、系統改造全景檢視及組織保障：

6、預防未來資料錯誤

資料質量往往遵循“垃圾進，垃圾出”的規律，透過根因分析會發現，透過對人員進行管理和培訓，對業務流程進行最佳化，對系統問題進行修正，對制度和標準進行完善等手段，往往能實現對資料質量的事前和事中控制，從而防止將來同類問題的發生。

這裡以前文所述的客服服務代表的資料重複錄入為例說明：

(1)制定客服服務代表資料錄入規範標準並宣貫

(2)最佳化資料錄入業務流程，明確資料錄入操作步驟並進行培訓

(3)對錄入系統進行最佳化，標準化錄入格式，對錄入資料進行線上的稽核和控制

(4)最佳化系統效能，確保查詢和錄入速度

(5)最佳化客服服務代表的績效考核體系，增加資料錄入質量的要求

7、修復當前資料錯誤

通常資料質量問題需要修復的資料量有大致規律，如人員、流程、前端應用產生的質量問題需要修復的資料量往往不大，而資料庫處理、資料抽取和載入等後臺環節導致的資料質量問題通常涉及的資料量較大，儘管資料錯誤預防可以在很大程度上起到控制不良資料發生的作用，但事實上，再嚴格的預防也無法做到100%，甚至過於嚴格的預防措施還會引起其他資料問題。

因此，企業需要不時進行主動的資料清理和補救措施，以糾正現有的資料問題。一般有人工和自動兩種手段，修復的型別包括源端資料批次糾正、資料記錄異常處理、重複資料的合併、缺失值的插補、異常值的處理等等，很多業務反饋的準確性問題由於缺乏參照，往往很難修復。

下圖示例了一個重複資料合併案例，使用distinct 或group by 保留一條記錄，使用開窗函式，保留制定的記錄。

8、實施資料質量運維

在實施了資料質量方案改進後，需要對這個過程進行監控和控制，以確保資料質量總是保持在穩定的狀態，防止偏離目標，具體工作包括：

(1)將資料質量提升的產出(包括各種平臺、程式、資源、規章制度、操作手冊、質量手冊和培訓材料)交付給現有運維職能部門並培訓

(2)運維職能部門將監控和控制納入日常工作，基於步驟2的資料質量檢查方法進行監控，如出現異常或偏差等情況，重複步驟3、4、5、6、7來進行資料質量問題的改進

(3)運維職能部門繼續監控資料質量，確認改進措施是否得到驗證，如果資料質量符合預期，則標準化改進舉措，如果不符合預期，重複(2)

三、資料質量管理兩大保障

1、資料治理體系保障

由前面可知，資料質量管理要高效推進，不僅僅是個技術問題，更是管理問題，依賴於公司的組織、制度、流程的配合，有賴於公司資料治理保障體系的建立，我曾經在《怎樣畫一張人見人愛的資料治理框架圖?by 傅一平》提出過“一體兩翼“資料治理體系框架，見下圖：

可以看到，資料質量管理作為資料管理活動的一種，需要資料治理體系的保障，包括戰略管理、政策原則、組織文化、制度規範、監督控制、變革管理、專案推動、問題管理及法規遵從。

下面舉例說明：

針對資料質量管理本身，要加強頂層設計，明確資料質量管理的原則，建立資料質量管理制度，明確資料質量管理流程，約束各方加強資料質量意識，督促各方在日常工作中重視資料質量，在發現問題時能夠追根溯源、主動解決。

在資料質量需求階段，只有業務部門的充分參與，才能明確業務問題和優先順序，確保資料質量改進具有較大的價值，而要做到這點，離不開企業資料戰略的指導，離不開企業級資料治理組織的保障(比如企業級資料治理委員會和辦公室的設定)，確保拉通業務和技術，確保足夠的資源投入(比如各部門資料質量管理專員的設定)。

在資料質量檢查階段，規範標準的有效執行和落地是資料質量管理的必要條件，包括資料模型標準、主資料和參考資料標準、指標資料標準等，有了規範標準，資料質量規則的制定才有據可依。

在預防未來資料錯誤階段，往往需要透過對人員進行管理和培訓，對業務流程進行最佳化，對系統問題進行修正，對制度和標準進行完善才能徹底解決問題，這些都離不開資料治理的組織文化、制度規範，監督控制等的支援。

2、資料環境分析保障

資料是一種質量管理的物件，資料本身也是一項業務，對資料這項業務的的理解越透徹，我們前面採取的那些資料質量提升方法和步驟就越有針對性，也會越有效，而所謂資料的業務就是資料從規劃(Plan)、獲取(Obtain)、儲存和共享(Store and Share)、維護(Maintain)、應用(Apply)再到報廢(Dispose)的全資料生命週期(簡稱POSMAD)這個流程。

比如理解了資料的應用場景，就可以有效判斷業務問題的價值，從而更好的明確資料質量需求和評估業務影響程度;理解了資料模型和業務場景，就可以制定更合理的資料質量規則，更高效的進行資料質量檢查;理解了資料的全流程，就可以實現資料的血緣分析，這是確定資料問題根本原因的一種有效方法，而透過流程最佳化往往又能預防資料質量問題的再次發生，諸如此類。

下圖的麥吉利夫雷的資訊質量框架【1】為理解資料業務流(簡稱POSMAD)提供了一個邏輯框架，可以幫助理解造成資料質量問題的複雜環境，一旦理解了這個框架，可將其用於理解下列事項：

(1)診斷：評估實踐和流程，瞭解哪裡出了故障，並確定是否提供了資料質量需要的所有要素，識別遺漏的要素，將其作為專案優先順序和初始根本原因分析的依據。

(2)規劃：設計新的流程，確保影響資料質量的所有要素已經解決，確定時間、金錢和資源的投資方向。

(3)溝通：解釋資料質量所需的和影響資料質量的要素。

這裡以地址主資料為例，說明地址相關流程(應用階段)的理解對地址主資料建設的重要性，下面第一張圖展示了所有涉及地址資料使用的流程全景，這是實現地址主資料統一管理的前提，第二張圖針對其中的駐地網資源入網流程進行了詳細的說明：

下面以供應鏈資料為例，從技術角度說明供應鏈系統各個模組是如何獲取、儲存和共享及維護相關實體的，這對於評估供應鏈資料的使用和變更情況至關重要，如下圖所示：

應該來講，雖然資料質量管理涉及的功能模組和步驟很多，但在實踐中，只要按需挑選必需的模組和步驟即可，同時各個步驟間也不是嚴格的前後關係，會有反覆，比如在推進到預防未來資料錯誤這個步驟時，往往要回到根因分析這一步驟去進一步核實。

最後推薦2本老外資料質量的書籍，細品起來很有料，本文引用了其中不少的的觀點和案例，可惜翻譯的不夠地道，如果有英文原版就更好了。

參考文獻

【1】、麥吉利夫雷 《資料質量工程實踐》 (2010)

【2】、華為公司資料管理部 《華為資料之道》 (2020)

【3】、洛申《資料質量改進實踐指南》 (2016)