御數坊劉晨：金融機構如何實現協同化與智慧化資料治理能力躍遷？｜ IDSummit 2021

近年來，大資料重塑了金融行業，給金融領域帶來了巨大變革近年來，同時資料治理越來越受到銀行、監管機構乃至國家層面的重視。劉晨先生分析了國內金融機構近幾年資料治理的現狀和行業痛點，然後針對性的闡述了協同化與智慧化資料治理能力建設要點，最後對資料治理行業的未來做出展望。

現將劉晨先生的演講實錄整理後分享如下。

劉晨：非常高興可以來到愛分析金融行業的數字化分析論壇裡面分享一下御數坊這兩年對於資料治理能力進階上的一些思考，我們今天提出來的是協同化和智慧化的兩個理念，稍後我們會進一步闡述。

1.金融機構資料治理現狀與挑戰

1.1.御數坊介紹

先來簡單介紹一下御數坊，御是指統御，從名字上就能看得出來我們是專於做資料治理的。御數坊在2014年底成立，到現在接近7年的時間，是國內第一批獲得國際資料治理認證的專業團隊，參與過三項國家標準的編寫。

我們的客戶包括央行、商業銀行、證券公司、保險公司、能源類企業和汽車製造類企業等，遍佈金融、能源、製造等各個行業。這也體現了我國現在各行業在數字化轉型過程中對資料治理的廣泛需求。各行各業都迫切希望提升自身資料的質量，增強資料的可用性，體現資料的價值。

我們今天主要談三個問題，第一個問題是目前金融機構資料治理存在哪些挑戰。金融機構是國內資料治理的先行者，部分頭部銀行在十五六年前就開始著手資料治理，銀監會也在十年前就做了行業性的推動。近幾年銀監會對於資料治理的要求越來越高，銀行業或者金融業所走過的資料治理實踐道路對於很多行業有借鑑意義，同時其他行業的實踐經驗也可以幫助金融機構在進入資料治理深水區的時候提升自身的能力。因此，我們要談的第二點就是實現資料治理能力協同化和智慧化的建設要點，我們講的內容不僅僅適用於金融行業，在其他行業也有廣泛的落地應用。最後是簡單的建議和總結。

1.2.資料治理，資料價值金字塔的底座

我經常在演講中提到這個圖，這是資料價值的金字塔，上午在主論壇的時候很多嘉賓都提到我們的資料治理工作要可以結合業務、結合場景實現公司的業務的降本增效和開源節流，產生資料的價值。這些是資料價值的上層部分，大家都希望透過資料治理獲取業務價值。然而業務價值的體現離不開資料智慧平臺的搭建，資料智慧平臺包括資料中臺、大資料平臺、人工智慧平臺和以前的數倉。除此之外，對於包括金融機構在內的很多企業來說，底層的資料基礎還有很大的提升空間：

數字資產不清晰：有哪些資料資產，資料資產怎樣分佈和使用。

資料的責任不清楚：現在都講資料的確權，但是資料確權的前提是清楚界定資料的管理職責。

資料質量低下：在長時間資訊化的建設中積累下來的資料資產存在著諸如資料孤島、資料不一致、資料不準確的等問題。

資料安全風險：剛才的嘉賓講到，以前強調網路安全和資訊保安，現在則更關注資料安全。資料安全法、關鍵基礎設施條例等法規的出 臺標誌著國家對於資料安全的重視程度越來越高。

底層的種種問題制約著包括金融在內的所有行業的數字化轉型全過程，導致企業投入時間長，投入的資金和人員成本很高，卻很難快速見到價值。這時候我們透過資料治理的工作就可以讓資料價值金字塔的底座打得更紮實。

1.3.國內外資料治理理論發展已趨於成熟

從理論上來看，大家在討論資料治理時都會提到DM。DM體系下的資料治理包括了架構、安全、質量、後設資料等。DM知識體系是國際上的理論，在2009年推出了1.0版本，在2017年更新了2.0版本，已經比較成熟了。在國內的理論研究方面，工信部的標準院和信通院都發布了一系列的白皮書，形成了中國自己的知識體系，我們也參與了部分國家標準的編寫。這其中認知度比較高的應該是DCMM模型（資料管理能力成熟度評價模型），這個模型從資料戰略、資料治理、資料應用等8個核心能力域和28個能力項對一家企業的資料管理能力進行全面的評價。這項內容是在2018年作為國標釋出，到現在已經有接近4年的時間，也算是比較成熟了。

無論是國際還是國內的理論體系都趨於成熟，為大家在實踐當中提供了很多可以借鑑的理論方法。

1.4.金融機構高度重視資料治理，資料質量、安全、價值成為資料治理的多重目標

金融行業一直以來都非常重視資料治理工作。首先從國家的法律法規層面來看，原來有網路安全法，最近又出 臺了資料安全法和個人資訊保護法。就行業而言，銀監會從2009年開始就開始釋出資料標準和治理的專項研究報告，在2018年釋出了參照了DCMM設計模型的《銀行業金融機構資料治理指引》。除此之外，近兩年還有《金融業資料能力建設指引》、《金融資料安全 資料生命週期安全規範》、《金融資料安全 資料安全分級指南》等一系列的金融行業資料規範密集出 臺，對金融機構自身的資料治理和資料安全能力的做出了要求。

同時金融行業也有很多因為資料治理、資料的報送不符合要求而被罰款，像幾大行在去年的三四月份被罰了300萬到500萬不等，這說明金融行業一直以來都非常重視資料治理的工作。

1.5.數字化實踐困惑重重：建設有餘，見效不足

在經歷多年的實踐之後，資料治理還存在著很多困惑，對此我們總結了四個方面，總體上來說就是大家對於資料治理的能力建設有餘，而見效不足，就是效果的落地和價值體現並不清楚。可能現象是這麼幾方面，比如說上午也提到了領導和人才，公司可能會很重視企業的資料治理或者數字化轉型，成立了高層的領導小組，但是成立了之後人員到位了，究竟下一步做什麼不是很清楚。或者做了很完整的頂層設計，可能找大的諮詢公司做千萬級的規劃，做完了這個規劃之後，真正落地的時候可能不知道怎麼和業務結合，這就是頂層設計和實施路徑之間存在著一個脫節的情況。

除此之外因為資料治理的工作往往由IT部門發起，IT部門自身主導很強，但是業務部門可能會因為對資料治理工作不理解或者覺得和業務場景結合不緊密，從而造成業務部門的參與度比較低。通常在資料治理工作初期業務部門會在一定程度參與進來，但是如果之後業務價值體現不明顯，業務部門的參與度就會降低。

另一方面，從IT團隊的角度來說，他們參與資料治理的主動性很強，既找人做了諮詢，又嘗試了構建資料資產目錄、資料質量檢查和資料治理平臺等各種各樣的手段，但是收效甚微，也會覺得很困惑。

現在包括資料資產盤點、資料質量分析、資料安全分類分級在內的很多資料治理工作還是由乙方的顧問或者甲方發工作人員透過手工的方式開展，工作效率很低。

IT部門和業務部門都認為資料治理很重要，但是如何發揮價值同時工作得更有效率是很大的痛點。

2.協同化與智慧化資料治理能力建設要點

2.1.協同化資料治理是業界普遍需求和趨勢

該怎麼應對這個痛點呢？分享一些我們的觀點和實踐。

首先我們認為協同化是現在資料治理業界的趨勢，民生銀行的黃院長和我都引用了報告《資料生產力 新動能 新治理》。這份報告裡專門提到了協作型的治理，其觀點核心是在資料利益的相關者之間鑄就相互依賴的關係，讓大家一起協作發掘資料自身的價值。以前的資料治理是管控型的治理，不讓大家隨意地去修改或者變更資料，透過要求和規則的方式開展治理。但是現在資料治理朝著多方協作的方向發展，共同達成資料的目標，實現資料的價值。

國外也有一些產品研究的機構，對於資料治理的功能分析後也發現協同是資料治理平臺重要的能力。

2.2.智慧化資料治理是業界普遍需求和趨勢

我們關注到智慧化也是最近兩年的業界熱門議題。Gartner的報告中提出AI技術在資料治理中的應用會越來越廣泛。去年有一份叫《資料管理的未來》的報告，其中提到了基於動態的後設資料創造自驅型的資料管理，以前需要靠人讀的後設資料，未來可能由AI技術自動化處理，開展資料治理的工作。同時它也列出了最早在人工智慧加持下些資料治理的功能，如資料整合、資料準備、資料清洗和資料的發現等。因此，可以看得出業界對於智慧化在資料治理、資料管理中應用的前景比較樂觀。

今天上午黃院長提到莫干山會議等內容讓我感同身受，莫干山會議在中國經濟歷史上有奠基性的意義。

2.3.御數坊主張：以新四化理念，推進資料治理能力躍遷

基於對業界理論、實踐痛點以及未來趨勢的觀察和思考，我們在今年初的時候提了資料治理的新四化。我們對於資料治理提出新四化：價值化、精益化、協同化、智慧化。

第一點是價值化。無論是做資料質量管理、資料標準，還是資料資產目錄，都首先要提升價值，給公司的業務部門帶來顯性的價值和成效。

第二點是精益化。精益化是指從業務場景出發，提高企業資料治理實踐的深度和細度，這其中包括資料資產目錄，資料標準，資料質量管理辦法等。

第三點是協同化。以前資料治理專案由治理團隊來主導，資料團隊和業務、中臺建設等其他團隊脫節無法有效合作。我們倡導把資料資產盤點、資料標準、資料質量等區域性的專項資料治理工作整合起來。這需要把各種資料治理的能力協作起來，把各部門、各團隊的人員協同起來，這就是我們強調的協同化。

第四點是智慧化，這方面需要我們透過AI技術來降低資料治理的人工的投入。在演算法的輔助下資料治理工作可以顯著地提高效率，增強效果。

2.4.御數坊理念落地——DGOffice：“協同化、智慧化”的資料治理平臺

為了讓新四化理念有效落地，我們精心打造了DGOffice資料治理軟體平臺，御數坊前幾年的諮詢業務比較多，我們的諮詢服務是幫助甲方打造資料治理團隊和執行機制。DGOffice是一個資料治理的辦公室，在平臺上開展資料治理工作像用office一樣簡單。

DGOffice的亮點在於我們把資料治理的各種成熟方法論沉澱在我們系統的應用層，讓不太熟悉資料治理的人線上按照流程和模板的引導就可以非常容易地上手開展資料治理工作，從而解決人才培養困難的問題。同時系統也提供低程式碼開發的環境，從而可以更簡單、更快捷地完成定製化的需求。右邊有定製化的資料治理智慧引擎，透過自然語言處理、知識圖譜和深度學習等技術把以前靠人讀和梳理的資料治理工作用演算法來做，提高工作效率。

2.5.協同化：以資料認責為基礎，場景化資料治理

我們認為協同化的核心是資料的認責，做資料管理要搭建資料認責的體系。企業內部有海量的資料資產，資料是生產資料，而人是生產力的一部分，如果生產資料和生產力的管理關係都沒有理清楚的話，那麼無論是資料治理、資料應用，還是資料平臺建設都一定是脫節的。

基於資料認責體系，首先可以促進資料治理自身的協同，比如資料標準和質量的協同，資料安全和資料資產的協同等。其次可以促進資料生產的協同，資料生產指的是業務系統的建設，例如ERP建設、核心信貸系統建設、證券賬戶管理系統建設等。其中也包括資料中臺的建設，資料中臺採集資料、加工資料、分析資料、產生各種標籤和應用的整個資料加工和生產的過程也需要有效地協作起來。

 我們希望透過資料流的貫通可以促進業務的合作，最終促進業務效率和運營效率的提升。比如財務和業務的一體化；電網的營銷、配網、生產的一體化，這體現的是業務的協同。

2.6.資料資產管理：多方協作參與資料資產盤點與目錄構建，理清資料資產家底

協同化的核心是認責體系。我們基於協同化的理念做了一系列資料治理的落地工作。首先是在資料資產管理方面，我們倡導形成多方協作的方法論，比如說在資料資產的盤點過程中的“八步法”。其中從盤點工作的籌備到後設資料的採集，再到重點資產和核心資產的識別，以及有效資產的識別和標籤等工作不是由資料治理團隊自己完成，而是由業務部門、資料治理團隊、資料中臺的建設團隊、業務系統的建設運維團隊之間多方協作完成。

如果只靠資料治理團隊則一定沒有精力和能力把所有的資產都盤點清楚，所以我們強調按照流程化的步驟，多方協作的方法論，然後將方法論沉澱到系統當中，可以讓業務人員比如說他在做業務資訊完善的時候，他只在這一步登入進來完成他自己的錄入就可以了，資料治理的人員參與到比如啟動盤點籌備，把一個複雜任務分解成不同角色配合完成的簡單任務。透過這種方式，我們自己提供兩個支撐人員，帶著甲方或者其他合作單位的幾十個人員，比如說可以快速地在兩個月內完成上百套業務系統的資料資產的盤點，形成欄位級的資料資產的資訊，形成像影響分析等等一系列的資料資產的關係圖，提高工作效率。讓各方維護的資訊更可信，各方對它的接受度更高，這是以協同的方式開展資料資產盤點的例子。

2.7.資料認責管理：構建資料資產與組織人員的權責矩陣，保障各方高效協同

我們支援在企業內部構建資料認責體系，比如華為強調的資料管家，但是對於很多企業來說資料認責的工作都沒有開展。我們接觸到近百家公司連業務部門的資料管家都還沒建立。

我們首先會為企業做資料責任的規劃，為其總部、子公司和前端的一線分支機構，以及不同的業務部門、崗位分配不同的資料責任。在這個諮詢規劃的過程，我們會根據認責體系推行的方法論為業務認責方、技術認責方、操作認責方等各種角色會配置好相應的認責計劃。比如說對於一家電網公司來說，我們在兩週左右的時間實現了它覆蓋7000人的資料認責。省公司把平臺和方法論部署下來，同步給600多個供電所去執行資料認責的任務；在基層單位，不同的資料項和資料表被分配給不同責任人，資料責任的具體內容也被清晰地劃分出來，例如定義資料的責任、運算元據的責任、稽核資料的責任等。透過這種方式可以將資料認責體系快速構建起來。

基於這個資料認責體系，這個電網公司再做資料質量提升工作的時候效率大大提升。一個省公司有六七百個供電所，每個供電所一年節約幾萬塊錢，每年節約解決資料問題的相關總成本超過千萬。

這項工作在南方電網全域性推進，然而我對接的一些大銀行目前為止的資料認責工作都還沒做到基層的一線業務部門。所以未來資料認責的推廣是資料治理深化工作的必經之路。

2.8.資料質量管理：面向業務場景，多方協作參與資料質量專項提升，提升業務價值

在資料質量方面一樣要強調協同化，資料質量工作必須要面向業務場景開展。以前我們的資料質量工作都是IT部門自己檢查資料問題，然後分發給業務部門，出一個資料質量報告就結束了。但是對於業務部門來說他們可能並不關心資料規則，他們更關心資料問題有沒有得到快速的解決。所以我們還是應該回到資料質量問題發生的業務場景當中，根據業務部門的需求確定檢查哪些資料資產。然後根據資料認責機制確定資料資產的資料責任，把問題和責任分配到後設資料管理好的業務流程和資料資產的關係上，從而面向業務部門最關心的問題開展資料質量提升。

透過這種方式我們可以為行動通訊的運營商實現一個單一場景一年降低五百萬左右的資料質量的成本。行動通訊的運營商一個月因為錯誤資料導致的訂單錯誤就有兩千多筆，這都是可量化的經濟價值損失。這就是御數坊做資料治理一直強調的：資料治理工作一定要結合業務並帶來經濟價值。

關於協同化以前有個誤區，資料治理工作只在資料中臺內部做，停留在資料平臺裡。因此我們強調要打破系統邊界，端到端去做。為了實現這個效果，我們形成了端到端一體化的治理體系。我們的資料治理工作始於在業務系統這一側管理業務流程，因為業務流程是產生資料的源頭，只有把業務流程管好了，才能知道這個資料究竟是怎麼來的，是誰在使用。這樣的話未來檢查資料、甄別資料質量問題和解決資料質量問題的時候效果就很好，因為可以在業務的根源解決資料質量問題。

我們會把資料血緣圖在資料中心、資料中臺的加工過程管理好，還會把它在連線在應用端和消費側，因為應用端的資料溯源是業務邏輯的溯源的過程。透過這種貫穿協同的方式把資料管理起來就是我們協同化的理念的落地。

2.9.智慧化：以智慧化技術引擎為基礎，提速增效

我們認為資料治理智慧化的核心在於對於後設資料的管理，後設資料用於描述所有資料資產。以前都是靠人來梳理這些後設資料，未來應該有更加智慧的技術像NLP、深度學習和知識圖譜去理解和處理這些後設資料。有了智慧化引擎之後，以前的梳理資料資產、設計資料模型、資料安全分類分級等工作就可以大大降低對人工的依賴。

智慧化資料治理的實踐思路是基於企業的資料資產構建語料庫。我們會計算各種語義的向量、資料的引數和資料特徵。以證券為例，一方面是金融行業的資料分類分級標準，另一方面是客戶的資料字典。我們會對這兩者的語料庫進行語義分析，然後判別哪些資料是核心敏感級的，哪些資料應該遵從行業資料標準。

在金融和電網落地智慧化資料分類分級的大概過程中，首先是建立語料庫和安全特徵庫，將所有的安全特徵詞梳理出來，然後透過機器學習根據行業規範找出每個特徵詞所對應的敏感度等級，最後基於這個特徵庫對於所有的資料資產進行語義分析，自動去識別它的安全等級。

在這個過程當中，以我們給電網、證券公司做落地的人員和時間投入為例：在人員投入上，如果靠人工做資料安全的定級可能需要幾十個人去盤點資料資產。但是透過智慧化的方法只需要一個智慧化工程師就可以完成資料治理的工作。在時間投入上，如果靠人工梳理兩百萬個欄位的話，需要6000人/天。透過智慧化的方式只需要兩週左右的時間把演算法調校好，然後兩到三個小時就可以把兩百萬個欄位分級完，效率的提升是幾十倍到百倍的。

這是我們已經實現的一些效果。

未來還會有圖譜，以前我們更關注業務知識的圖譜，現在還可以基於資料的模型形成資料資產的圖譜，還可以利用業務系統的應用模組資訊去形成應用系統的圖譜。熟悉資訊化理論和EA的朋友可能知道這是在打通企業架構，我們是打通應用架構、業務架構和資料架構，既可以讓IT人員快速地理解業務；也可以讓業務人員從他最熟悉的業務視角入手去理解資料和了解系統；還可以讓業務系統的開發和建設人員從他最熟悉應用系統的視角入手瞭解資料和對應的業務流程、業務知識。

這方面工作也已經在電網落地，我們把電網的一些生產管理的業務流程和流程上面掛接的所有資料資產高度匹配，這樣業務人員和資料人員之間就可以有高效的協同工作。

3.構建協同化、智慧化的資料治理能力，實現資料資產的質量安全雙保險，實現資料資產價值最大化

最後簡單總結一下，我們認為現在以銀行、證券公司、保險公司為代表的金融機構的資料治理工作已經形成了在實踐中探索的趨勢，國際上可借鑑的理論越來越少，未來將走出中國獨特的資料治理實踐道路。

在這個過程當中我們有幾點建議：

第一資料資產盤點清楚，形成自己的資料資產目錄。

第二應該建立資料認責的體系，讓資料相關人員和資料資產可以有效地協同。

第三是資料質量建設不能只停留在中臺內部，還要覆蓋全域工作環境，面向業務和場景提升全鏈路的資料質量，才能體現業務價值。

第四是要有資料安全治理體系。資料的安全至關重要，需要搭建一套安全治理體系框架：基於對資料資產的管理實現資料的分類分級，再基於資料的分類分級進行分類保護。

第五是從提速增效的角度要越來越多地使用智慧化的技術去開展資料治理的工作，而不是像以前完全依靠人工去梳理。無論是從甲方的角度靠堆人治理資料，還是從乙方的角度賣人/天實現盈利的生意模式都是不可持續的。

今天要分享的內容就是這樣，如果有興趣的話我們可以在希望做更多的交流，謝謝大家。