資料治理九大核心領域，以銀行業為例

　　 01 前言

　　股份制改革對銀行業來說只是一個開始，企業在風險管理、創造價值等方面還有很長的路要走。風險管理要求提供精準的資料模型、創造價值要求充分摸清銀行資料資產，這是資料治理的外部推動因素。此外，隨著第三次工業革命的到來，銀行業也需要進入定製化時代，以更低的成本，生產多樣化的金融產品，從而滿足不同顧客的不同需求。

　　對資料本身而言，業務發展加快了資料膨脹的速度，也帶來了資料不一致等問題，業務部門的頻繁增加和剝離同樣會對資料治理提出挑戰。

　　這些日益複雜的內外因決定了銀行業對資料治理的超高標準要求，而目前對應的經驗能力卻稍顯薄弱。　　

　　資料治理不僅需要完善的保障機制，還需要理解具體的治理內容，比如資料該怎麼進行規範，後設資料又該怎麼來管理，每個過程需要哪些系統或者工具來進行配合呢？這些問題都是資料治理過程中最實際的問題，也是最複雜的問題，下面將從資料治理的各個核心領域來解答這些問題。

　　 02 銀行資料治理核心領域

　　每個資料治理的領域都可作為一個獨立方向進行研究治理，目前總結的資料治理領域包括但不限於以下內容：資料標準、後設資料、資料模型、資料分佈、資料儲存、資料交換、資料生命週期管理、資料質量、資料安全以及資料共享服務。

　　同時各領域之間需要有機結合，如資料標準、後設資料、資料質量等幾個領域相互協同和依賴：

　　透過資料標準的管理，可以提升資料合法性、合規性，進一步提升資料質量，減少資料生產問題。

　　在後設資料管理的基礎上，可進行資料生命週期管理，有效控制線上資料規模，提高生產資料訪問效率，減少系統資源浪費。

　　透過後設資料和資料模型管理，將表、檔案等資料資源按主題進行分類，可明確當事人、產品、協議等相關資料的主資料來源歸屬、資料分佈情況，有效實施資料分佈的規劃和治理。　　

　　資料治理領域是隨著銀行業務發展而不斷變化的，領域之間的關係也需要不斷深入挖掘和分佈，最終形成一個相互協同與驗證的領域網，全方位的提升資料治理成效。

　　 03 資料治理九大核心領域

　　1.資料模型

　　資料模型是資料治理中的重要部分，合適、合理、合規的資料模型，能夠有效提高資料的合理分佈和使用，它包括概念模型、邏輯資料模型和物理資料模型，是資料治理的關鍵、重點。資料模型包含三個部分，資料結構、資料操作、資料約束。

　　資料結構。資料模型中的資料結構主要用來描述資料的型別、內容、性質以及資料間的聯絡等。資料結構是資料模型的基礎，資料操作和資料約束都基本是建立在資料結構的之上的。不同的資料結構有不同的操作和約束。

　　資料操作。資料模型中的資料操作主要用來描述在相應的資料結構上的操作型別和操作方式。

　　資料約束。資料模型中的資料約束主要用來描述資料結構內資料間的語法、詞義聯絡、他們之間的制約和依存關係，以及資料動態變化的規則，以保證資料的正確、有效和相容。

　　2.後設資料管理

　　後設資料分為業務後設資料、技術後設資料和操作後設資料，三者之間關係緊密。業務後設資料指導技術後設資料，技術後設資料以業務後設資料為參考進行設計，操作後設資料為兩者的管理提供支撐。

　　（1）業務後設資料。業務後設資料是定義和業務相關資料的資訊，用於輔助定位、理解及訪問業務資訊。

　　業務後設資料的範圍主要包括：業務指標、業務規則、資料質量規則、專業術語、資料標準、概念資料模型、實體/屬性、邏輯資料模型等。

　　（2）技術後設資料。它可以分成結構性技術後設資料和關聯性技術後設資料。結構性技術後設資料提供了在資訊科技的基礎架構中對資料的說明，如資料的存放位置、資料的儲存型別、資料的血緣關係等。關聯性技術後設資料描述了資料之間的關聯和資料在資訊科技環境之中的流轉情況。

　　技術後設資料的範圍主要包括：技術規則（計算/統計/轉換/彙總）、資料質量規則技術描述、欄位、衍生欄位、事實/維度、統計指標、表/檢視/檔案/介面、報表/多維分析、資料庫/檢視組/檔案組/介面組、原始碼/程式、系統、軟體、硬體等。技術後設資料一般以已有的業務後設資料作為參考設計的。

　　（3）操作後設資料。操作後設資料主要指與後設資料管理相關的組織、崗位、職責、流程，以及系統日常執行產生的運算元據。

　　操作後設資料管理的內容主要包括：與後設資料管理相關的組織、崗位、職責、流程、專案、版本，以及系統生產執行中的操作記錄，如執行記錄、應用程式、執行作業。

　　3.資料標準

　　資料標準是銀行建立的一套符合自身實際，涵蓋定義、操作、應用多層次資料的標準化體系，它包括基礎標準和指標標準（或稱應用標準）。與資料治理其他核心領域具有一定的交叉，比如後設資料標準、資料交換和傳輸標準、資料質量標準等。

　　商業銀行的資料標準一般以業界的標準為基礎，如國家標準、監管機構（如國家統計局、中國人民銀行、工信部）制定的標準，結合商業銀行本身的實際情況對資料進行規範化，一般會包括格式、編碼規則、字典值等內容。

　　良好的資料標準體系有助於商業銀行資料的共享、互動和應用，可以減少不同系統間資料轉換的工作。資料標準的主要由業務定義、技術定義和管理資訊三部分構成。　　

資料標準的主題構成

　　（1）業務定義。業務定義主要是明確標準所屬的業務主題以及標準的業務概念，包括業務使用上的規則以及標準的相關來源等。對於程式碼類標準，還會進一步明確編碼規則以及相關的程式碼內容，以達到定義統一、口徑統一、名稱統一、參照統一以及來源統一的目的，進而形成一套一致、規範、開放和共享的業務標準資料。

　　（2）技術定義。技術定義是指描述資料型別、資料格式、資料長度以及來源系統等技術屬性，從而能夠對資訊系統的建設和使用提供指導和約束。

　　（3）管理資訊。管理資訊是指明確標準的所有者、管理人員、使用部門等內容，從而使資料標準的管理和維護工作有明確的責任主體，以保障資料標準能夠持續的進行更新和改進。

　　4.資料質量管理

　　資料質量管理已經成為銀行資料治理的有機組成部分。高質量的資料是商業銀行進行分析決策、業務發展規劃的重要基礎，只有建立完整的資料質量體系，才能有效提升銀行資料整體質量，從而更好的為客戶服務，提供更為精準的決策分析資料。　　

　　（1）制度和規範。從技術層面上，應該完整全面的定義資料質量的評估維度，包括完整性、時效性等，按照已定義的維度，在系統建設的各個階段都應該根據標準進行資料質量檢測和規範，及時進行治理，避免事後的清洗工作。　　

資料質量評價維度

　　（2）明確相應的管理流程。資料質量問題會發生在各個階段，因此需要明確各個階段的資料質量管理流程，例如：

　　在需求和設計階段就需要明確資料質量的規則定義，從而指導資料結構和程式邏輯的設計；

　　在開發和測試階段則需要對前面提到的規則進行驗證，確保相應的規則能夠生效；

　　最後在投產後要有相應的檢查，從而將資料質量問題儘可能消滅在萌芽狀態。

　　資料質量管理措施，宜採用控制增量、消滅存量的策略，有效控制增量，不斷消除存量。　　

資料質量管理流程

　　5.資料生命週期管理

　　任何事物都具有一定的生命週期，資料也不例外。從資料的產生、加工、使用乃至消亡都應該有一個科學的管理辦法，將極少或者不再使用的資料從系統中剝離出來，並透過核實的儲存裝置進行保留，不僅能夠提高系統的執行效率，更好的服務客戶，還能大幅度減少因為資料長期儲存帶來的儲存成本。

　　資料生命週期一般包含線上階段、歸檔階段（有時還會進一步劃分為線上歸檔階段和離線歸檔階段）、銷燬階段三大階段，管理內容包括建立合理的資料類別，針對不同類別的資料制定各個階段的保留時間、儲存介質、清理規則和方式、注意事項等。　　

資料生命週期中各引數間的關係

　　從上圖資料生命週期中各引數間的關係中我們可以瞭解到，資料生命週期管理可以使得高價值資料的查詢效率大幅提升，而且高價格的儲存介質的採購量也可以減少很多；但是隨著資料的使用程度的下降，資料被逐漸歸檔，查詢時間也慢慢的變長；最後隨著資料的使用頻率和價值基本沒有了之後，就可以逐漸銷燬了。

　　6. 資料分佈和儲存

　　資料分佈和儲存主要涵蓋了資料如何劃分和儲存，總行系統以及總分行資料如何分佈，主資料及參考資料（也稱為副本資料或者輔資料）如何管理。只有對資料進行合理的分佈和儲存，才能有效的提高資料的共享程度，才能儘可能的減少資料冗餘帶來的儲存成本。

　　通常情況下，綜合資料規模、使用頻率、使用特性、服務時效等因素，從儲存體系角度，可以將商業銀行的資料儲存劃分為四類儲存區域，即交易型資料區、整合型資料區、分析型資料區、歷史型資料區。　　

資料儲存佈局

　　1）交易型資料區。交易型資料區包括渠道接入、互動控制、業務處理、決策支援與管理等各類聯機應用資料；儲存客戶自助或與銀行操作人員在業務互動辦理過過程中產生的原始資料的儲存，包括業務處理資料，內部管理資料和一些外部資料，其儲存的是當前狀態資料。

　　2）整合型資料區。整合型資料區包括操作型資料（OLTP）和資料倉儲型資料（OLAP）。

　　3）分析型資料區。分析型資料主要是用於決策支援與管理的各類集市應用的資料。為了對業務執行情況進行深入分析，需要對原始資料進行進一步彙總統計分析，統計分析結果用於最終的決策展示，因此分析型資料區儲存了這些統計、分析模型結構的指標資料。

　　4）歷史資料區。這裡儲存了所有近線應用、歸檔應用、外部審計資料平臺應用等的資料，主要滿足各種歷史資料歸檔後的資料保管和資料查詢服務。

　　7.資料交換

　　資料交換是銀行進行資料互動和共享的基礎，合理的資料交換體系有助於銀行提高資料共享程度和資料流轉時效。

　　一般商業銀行會對系統間資料的交換規則制定一些原則，比如對介面、檔案的命名、內容進行明確，規範系統間、銀行系統與外部機構間的資料交換規則，指導資料交換工作有序進行。

　　建立統一的資料交換系統，一方面可以提高資料共享的時效性，另一方面也可以精確掌握資料的流向。

　　8.資料安全

　　商業銀行的重要且敏感資料大部分集中在應用系統中，例如客戶的聯絡資訊、資產資訊等，如果不慎洩露，不僅給客戶帶來損失，也會給商業銀行帶來不利的聲譽影響，因此資料安全在資料管理和治理過程中是相當重要的。

　　（1）資料儲存安全。包括物理安全、系統安全儲存資料的安全，主要透過安全硬體的採購來保障資料儲存安全。

　　（2）資料傳輸安全。包括資料的加密和資料網路安全控制，主要透過專業加密軟體廠商進行規範設計和安裝。

　　（3）資料使用安全。需要加強從業務系統層面進行控制，防範非授權訪問和下載列印客戶資料資訊；部署客戶端安全控制工具，建立完善的客戶端資訊防洩漏機制，防範將客戶端上儲存的個人客戶資訊非授權傳播；建立完善的資料安全管理體系，建立資料安全規範制度體系，組建資料安全管理組織機構，建立有效的資料安全審查機制；對於生產及研發測試過程中使用的各類敏感資料進行嚴密管理；嚴格與外單位合作中的個人客戶資訊保安管理等。

　　9.資料服務

　　資料的管理和治理是為了更好的利用資料，是資料應用的基礎。

　　銀行應該以資料為根本，以業務為導向，透過對大資料的集中、整合、挖掘和共享，實現對多樣化、海量資料的快速處理及價值挖掘，利用大資料技術支援產品快速創新，提升以客戶為中心的精準營銷和差異化客戶服務能力，增強風險防控實時性、前瞻性和系統性，推動業務管理向資訊化、精細化轉型，全面支援資訊化銀行的建設。

　　建立結構化資料處理分析平臺。資料倉儲建設能夠實現企業異構資料的整合，企業按照分析主題重組資料，建立面向全行的一致的資訊檢視。下圖是一個典型的銀行資料倉儲服務體系：　　

銀行典型的資料倉儲服務體系

　　資料資產檢視。在建立了資料倉儲之後，需要建立統一的分析和視覺化平臺，解決資料在哪裡，資料怎麼用的問題。一個典型的應用是建立全行統一客戶檢視，包含客戶資訊統一檢視、客戶資訊風險檢視和網點業績檢視。　　

資料資產檢視示例

　　 04 資料治理的展望

　　資料治理不是一個臨時性的運動，從銀行業務發展、資料治理意識形成、資料治理體系執行的角度，需要一個長效機制來進行保證。 在大資料時代，經過資料治理的銀行資料可以發揮更大的作用。

　　1.利用大資料探勘技術分析各類海量資訊，發現市場熱點與需求，實現產品創新服務

　　可以將大資料應用到產品生命週期，深入挖掘客戶需求，把握客戶痛點，推動產品創新。利用大資料技術對社交網路資訊、線上客戶評論、部落格、呼叫中心服務工單、使用者體驗反饋等資訊進行深度挖掘和分析，充分洞察客戶，分析客戶的情緒，瞭解客戶對產品的想法，獲知客戶需求的變化趨勢，從而對現有產品進行及時的調整和創新，事情貼近客戶的生活場景和使用習慣。

　　基於大資料創新產品評價方法，為產品創新提供資料支撐。透過大資料分析，改變目前以規模、總量為主的業務評價方式，建立一整套完整的以質量、結構為主的全新的評價方式，以引導全行真正追求有質量、有效益的發展。

　　2.加強內外部資訊聯動，重點利用外部資訊提升銀行風險防控能力

　　進一步加強與稅務、海關、法院、電力部門、水務部門、房產交易登記中心、環保部門以及第三方合作機構的資料互聯共享，有效拓寬資訊來源渠道，深度挖掘整合系統內外客戶資訊、關聯關係、交易行為、交易習慣、上下游交易對手、資金週轉頻率等資料資訊，利用大資料技術查詢與分析不同資料變數間的關聯關係，並建立相應的決策模型，提升銀行風險防控能力。

　　在信用風險方面，可以結合外部資料，完善信用風險防範體系，基於視覺化分析有效防控信用風險的傳導。引入大資料理念和技術，統一信用風險模型管理，構建覆蓋信用風險訓練、模型管理、日常預警、評分評級、客戶信用檢視以及業務聯動控制的信貸大資料平臺，建立多維度、全方位的縫隙安全預警體系。

　　在市場風險方面，基於市場資訊有效預測市場變動，基於大資料處理技術提升海量金融資料交易的定價能力，構建定價估值引擎批次網格計算服務模式，支援對海量交易的實時定價，有效提升銀行風險管控與定價能力，為金融市場業務的發展提供有力支撐。

　　在操作風險方面，依託大資料資訊整合優勢，有效防控操作風險。透過視覺化技術，從業務網資料中發現識別風險線索，實現由“風險監控”向“業務監控”模式轉變，提升風險的提前預警能力。加強跨專業風險監控模型的研發，透過由點帶線、由線及面的矩陣式關聯監控，提前識別風險交織趨勢，防範風險傳染。

　　3.利用大資料技術提升經營管理水平，最佳化業務流程，實現精細化經營決策

　　在經營決策方面，透過外部資料的補充和整理，實現經營分析外延的擴充，從市場和經營環境的高度分析各級機構的發展方向、競爭壓力，制定更合理、更有效的經營策略。同時，應用大資料視覺化技術，實現複雜分析過程和分析要素向使用者的有效傳遞，增強分析結果說服力和指導性，向經營人員提供有力的資訊支撐。

　　在資源配置方面，依託大資料採集和計算能力，提升測算的敏感性和有效性，加強財務預測的可靠性和有效性，為總體資源配置提供更好的資訊支撐，實現對具體資源配置的動態管理。

　　在過程改進方面，最佳化業務流程，對交易、日誌的專業挖掘，探索當前業務處理流程節點的瓶頸，尋求最有效的解決方案。比如透過分析客戶從排隊到等候完成全部交易的流程合理性，提出過程改進方法，提升網點整體運營效率和客戶體驗。

　　在運維保障方面，基於流資料處理技術，搭建準實時的應用交易級監控平臺，實現交易執行情況的即時監控，保障業務執行穩定高效。