資料質量管理之根因分析！

資料質量管理最行之有效的方法就是找出發生資料質量問題的根本原因，然後採取相應的策略進行解決。首先需要確定根本原因：找到引起資料質量問題的相關因素，並區分它們的優先次序，形成解決這些問題的具體改進建議。然後，制定和實施改進方案： 確定關於行動的具體建議和措施，基於這些建議制定並改進方案，預防未來資料質量問題的發生。

——  01 ——

所謂根因分析，就是分析導致資料質量問題的最基本原因。引起資料質量問題的原因通常有很多，比如環境條件、人為因素、系統行為、流程因素等，因此要透過科學分析，找到問題發生的根源性原因。根因分析是一個系統化的問題處理過程，包括確定和分析問題原因，找出適當的問題解決方案，並制定問題預防措施。

發生了哪些資料質量問題？

為什麼發生這些問題？是人的因素，技術上的原因，還是流程不合理？

採取什麼解決方案能夠防止問題再次發生？

通常，企業中的每個人都認為擁有良好的資料質量對業務有利，在這一點上非常容易達成共識。尤其是在當前的數字化時代，企業對資料質量的關注超過以往任何時期。

但是，當涉及誰應該對資料質量負責，誰必須對此做些什麼，以及誰應該為必要的資料質量管理活動埋單時，事情就會變得複雜而艱難。我們經常看到的是各部門相互推諉和指責。

在很多情況下，企業會把資料質量問題的責任推給技術部門，技術部門成了資料質量問題的“背鍋俠”。他們儘管有滿腔的怨氣和不滿，但也不得不先去查詢和處理問題。 如果不明確資料問題的根因，這樣的矛盾、指責、推諉將永無休止！

企業的資料質量問題通常只是一個現象，人們往往只看到了資料不準確、不一致、不完整，卻沒有細緻地剖析這些問題發生的原因。只顧解決表面問題，而不管發生問題的根本原因，這是當前企業在資料問題處理中的普遍現象。企業試圖透過技術手段來解決資料質量問題，例如清理髒資料，建立對照關係表，甚至採用AI演演算法對不完整的資料進行插補。筆者並不反對用技術手段解決資料質量問題，相反，筆者是非常支援透過技術改善資料質量的。

但是，這裡要特別強調， 在透過技術手段處理資料質量問題之前，我們應當先進行資料質量問題的根因分析，這有助於我們找到更合適的解決方案，達到事半功倍的效果。不能只看到問題的現象就採取措施，這種急功近利的問題解決辦法“治標不治本”，資料治理問題免不了要復發，其結果是組織不得不一而再、再而三地重複應對同一類問題。可以想象，這樣的問題處理成本肯定是驚人的。

“撥開迷霧見明月”，分析任何問題都應該找到問題的本質。進行資料質量問題的根因分析，不僅在於解決業務部門和技術部門的矛盾，更重要的是能夠幫助企業利益相關者發現資料質量問題的癥結所在，從而找到適當的解決方案。

——  02 ——

資料也一樣，資料的“一生”要經歷資料規劃設計（定義）、資料建立、資料使用、資料老化、資料消亡五個階段，每個階段都有可能發生資料質量問題。企業資料質量管理應關注資料生命週期的每個階段。

在規劃設計階段，資料的定義或設計不當會產生資料質量問題。比如：在資料建模時沒有對資料物件進行清晰的定義，存在二義性，導致水果蛋糕和水果味蛋糕分不清。再比如：在建立資料庫時，可能會發現某些資料項含糊不清，從而導致不確定是否能夠輸入資料、如何輸入資料以及在何處輸入資料。

例如：程式設計師小K為某程式建立了一個手機號碼錶並對其設定了手機號碼的約束條件——11位數字，而這個程式是跨境使用的，這個約束將直接導致部分資料填寫錯誤，因為國外的手機號碼不一定是11位。

在資料建立階段，資料的錄入不當會產生資料質量問題。資料是否正確進入系統？儘管如今企業的資訊系統中有很多功能已經實現了自動化，但是仍然無法避免將錯誤或不合格的資料輸入系統。 資料不準確的問題常常是因為輸入資料的人犯了一個不經意的錯誤，例如資料拼寫錯誤，丟失資料記錄，從列表中選擇了錯誤的條目，在輸入框中輸入值時張冠李戴（比如在“客戶名稱”輸入框中錄入了客戶的聯絡資訊）。

在資料使用階段，要關注是否正確使用和解釋了資料。如果企業需要跨多個系統輸入相同的資料，例如某“客戶檔案”資料要在ERP系統、CRM系統等多個系統中重複錄入，則很可能會發生人為錯誤。重新輸入資料是一項漫長而艱鉅的任務，很容易導致資料產生多個版本（資料不一致），在沒有任何形式的資料驗證時更是如此。這種情況下，進行必要的資料整合是很有效果的。

然而，在將資料遷移到新系統或整合系統資料時，也會給企業帶來資料質量風險。在資料的整合和傳輸過程中，資料的值可能不規則、丟失或放錯位置，甚至透過簡單的電子表格匯出/匯入也可能會發生不一致問題。

資料不是靜止的，它可能隨時發生變化。你現在的手機號碼或職務是否仍然與兩年前的相同？你的資訊會發生變化，你的客戶也一樣。企業應該注意保持資料是最新的，否則資料會“過期失效”，這將會對你的業務產生很大影響。

在資料消亡階段，對使用完的資料進行歸檔及銷燬操作。通常來說，資料歸檔和資料銷燬可以再分為兩個階段，前一個階段關注資料被正確歸檔，後一個階段關注資料被安全銷燬。這與資料質量、資料安全及個人隱私保護都有關係。

——  03 ——

隨著企業規模的不斷擴大，很多企業選擇透過併購快速佈局新市場或新業態，以實現多元化業態的創新升級。企業在併購的過程中需要將兩家公司的資料以某種方式合併，兩家公司可能使用完全不同的資料系統，系統的資料標準不統一，因而會產生各種摩擦和問題。

很多企業的資訊化現狀都是先建設後治理。

資料質量管理中的一大挑戰是使各個部門達成一致。如果缺乏統一的資料標準，對於同一資料理解不一致，業務之間的協作和溝通就如同“雞同鴨講”。資料標準是企業資料管理的第一道防線，然而遺憾的是，很多企業對資料標準的重視程度不足，它們對資料的“重視”還停留在口頭上，沒有實際行動。

資料需求不清晰，對於資料的定義、業務規則描述不清晰，導致建模人員無法構建出合理、正確的資料模型。我們經常見到在需求階段業務人員對需求的描述不清楚，等到資料應用開發完後，他們卻發現結果不是自己想要的，於是就開始了永不休止的需求變更，最終技術人員和業務人員相互不滿意。

需求描述不清、頻繁的需求變更對資料質量的影響非常大，需求一變， 資料模型設計、資料錄入、資料採集、資料轉換、資料傳輸、資料儲存等環節都要跟著改變，即使再謹慎也難以避免資料質量問題。

業務部門既是資料需求的提出方，也是資料的生產方。業務部門的人為因素是造成企業資料質量低下的一個非常重要的原因。常見的人為因素有拼寫錯誤，將資料輸入不匹配的欄位，大小寫、全半形、特殊字元錄錯等，這些都會導致資料輸入不規範問題。在技術上做一些輸入控制和校驗能夠減輕這個問題，但始終很難避免。

在設計階段對資料模型質量的關注不足，需求理解不到位，甚至沒有與業務部門達成共識，結果可想而知，這樣的設計帶來的就是永無休止的需求變更。

資料庫表結構、資料庫約束條件、資料校驗規則的設計開發不合理，就會造成資料錄入無法校驗或校驗不當，引起資料重複、不完整、不準確。

資料傳輸包含資料採集、資料轉換、資料裝載、資料儲存等環節。

資料遷移是將資料從舊系統過渡到新系統，或從一個資料來源遷移到另一個資料來源。業務人員可能很難理解資料從一個應用系統切換到另一個應用系統時會有哪些困難。憑直覺，一個外行會期望事情已經“準備好”，這樣過渡對於業務使用者來說既容易又輕鬆。

但這絕對不符合現實。暫且不說遷移過程中涉及的資料採集、清洗、轉換、裝載等問題，可能你要遷移的資料來源本來就存在質量問題，如果不對資料來源的資料質量進行識別和處理，即使順利遷移，資料質量也無法保證。

——  04 ——

定義企業資料質量問題，可以採取問卷調查、現場調研等方式，儘可能收集到全部的企業資料質量問題，並收集與之相關的資料和證據，這對於瞭解當前情況是必要的。對於輕微的異常事件，可考慮進行個人專訪，如採訪業務系統的管理員或業務部門的關鍵使用者。

對收集到的資料問題進行歸納和整理，並根據資料質量維度進行適當的歸類。 歸類的好處是有助於對每類資料問題進行深度剖析，便於找出糾正措施。

建立資料問題的描述，其中應包含資料問題的基本資訊，例如誰、在什麼時間、什麼地點（或系統）、發生了什麼問題、造成了哪些影響（包括實際影響和潛在影響）。定義問題的影響是為了確定資料問題處理的優先順序，為後續制定適當的解決方案提供支撐。

找到造成資料質量問題的直接原因，包括人為因素、技術因素、系統因素、裝置因素、可控或不可控的外在環境因素、流程因素和其他因素等。

在這個過程中，需要召集直接參與流程和執行糾正措施的人員及專家，他們的意見有助於快速找到資料問題的解決方案。考慮每個因素，集思廣益，探討可能與之相關的問題的原因。

採用5Why法（連續問5個為什麼）進一步深入探究：首先，提問為什麼會發生當前的資料質量問題，並對可能的答案進行記錄；然後，逐一對每個答案問一個為什麼，並記錄下原因，努力找出問題的主要因素，再對所有的原因進行分析。這種方法透過反覆問為什麼，能夠逐漸深入問題，直到找到問題的根本原因。

經過以上兩個步驟，基本上能夠篩選出資料問題發生的根本原因了，這時還需要對引發資料質量問題的根本原因和根本原因之間的關係進行確認。可以做以下3個假設。

此時，列出與資料問題相關的系統分類，例如管理方面、業務方面、技術方面、環境與裝置方面等。從系統分類中篩選出根本原因並確認其與根本原因之間的關係。

找到根本原因後，就要進行下一個步驟：制定並執行解決方案，從根本上解決問題。這是另一個獨立的過程，也被稱為改正和預防。我們在尋找根本原因的時候，必須對每一個已找出的原因進行評估，給出改正的辦法，因為這樣做有助於整體改善和提高。例如，假設某個資料質量問題是由業務人員操作不當引發的，這就需要一方面加強對相關業務人員的培訓，另一方面從技術上進行適當的調整，提供更友好、易用的功能，以避免資料問題再次發生。

——  05 ——

魚骨圖是由日本管理大師石川馨先生提出的一種把握結果和原因的方便而有效的方法，故名“石川圖”，它是一種透過現象看本質的分析方法，非常適用於資料質量問題的根因分析。

魚骨圖是因果分析中常用的工具。

魚骨圖有助於探索阻礙結果的因素，適用於資料質量問題的分析。

① 特性就是“問題的結果”。

③ 大骨用來表示問題的直接原因，例如圖19-5中的人員因素、系統因素、技術因素、流程因素、方法因素和環境因素。

⑤ 小骨用來描述為什麼會那樣，例如對系統操作不熟悉、隨意性輸入等。

5Why圖，也稱5Why分析法或豐田5問法。5Why分析法在日系企業中用得很多，其首創是豐田公司的大野耐一，來源於一次新聞釋出會。有人問：“豐田公司的汽車質量怎麼會這麼好？”他回答：“我碰到問題至少要問5個為什麼。”

簡單來說， 5Why分析法的精髓就是多問幾個為什麼，鼓勵解決問題的人努力避開主觀假設和邏輯陷阱，從結果著手，沿著因果關係鏈條順藤摸瓜，穿越不同的抽象層面，直至找出原有問題的根本原因。

舉個例項，我們分析這個問題：同一客戶為什麼不能識別。

5Why分析法可以幫助我們找出問題的根本原因，以便採取適當的改進措施，併為每個人分配需要採取的糾正措施。但是，“5Why”不是必須問5個為什麼，也可以是4個、6個，找到問題根本原因、解決問題就好。

故障樹圖是一種邏輯因果關係圖，是一種圖形演繹法，是故障事件在一定條件下的邏輯推理方法，可針對某一故障事件進行層層追蹤分析。故障樹圖的特點是直觀明瞭，思路清晰，邏輯性強，既可以進行定性分析，也可以進行定量分析。它體現了以系統工程方法研究安全問題的系統性、準確性和預測性。

使用故障樹圖來確定資料質量問題的可能原因。故障樹從問題的頂部開始，而可能的原因在下面，這是一種自上而下的推演方法。首先，分析頂問題發生的直接原因，將頂問題作為邏輯的輸出事件，將所有引起頂問題的直接原因作為輸入事件，將它們之間的邏輯關係用適當的邏輯連線起來。然後，對每一箇中間問題用同樣方法逐級向下分析，直到所有的輸入問題都不需要再分解（找到問題的根本原因）為止。

帕累託圖是條形圖和折線圖的組合，條形圖的長度代表問題的頻率，折線表示累積頻率,橫座標表示影響質量的各項因素，按影響程度的大小（出現頻數）從左到右排列（見下圖）。透過對排列圖的觀察分析可以抓住影響質量的主要因素，進而確定問題的優先順序。

帕累託圖是基於80/20法則的分析，即認為發生的全部問題中有80％是由20％的問題原因引起的。這意味著，如果有針對主要問題的解決方案，則可以解決大多數其他較小的問題。

資料質量管理是資料治理的重要組成部分，通常用在資料模型設計、資料資產管理、主資料管理、資料倉儲等解決方案中。 資料質量影響的不僅是資訊化建設的成敗，更是影響企業業務協同、管理創新、決策支援的核心要素。資料質量管理可以是反應性的被動管理，也可以是預防性的主動管理。但，無論是哪種管理，企業最應首先解決的是分析資料治理問題發生的根本原因，只有找到問題的根本原因才能對症下藥，做到“標本兼治”！