**摘要**：以“數字金融新原力(The New Force of Digital Finance)”為主題，螞蟻金服ATEC城市峰會於2019年1月4日上海如期舉辦。金融智慧專場分論壇上，螞蟻金服資料平臺部高階資料技術專家李俊華做了主題為《螞蟻金服資料治理之資料質量治理實踐》的精彩分享。

演講中，李俊華介紹了螞蟻金服資料架構體系的免疫系統——資料質量治理體系，此外還著重介紹了資料質量實施的相關內容，以及螞蟻的資料質量治理實踐與所面對的實際挑戰。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190223194327378.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)
**李俊華 螞蟻金服資料平臺部高階資料技術專家**

本文將主要圍繞以下三部分進行分享：

1. 資料治理概況

2. 資料質量治理挑戰

3. 資料質量治理實踐

## 一、資料治理概況

近年來，螞蟻金服不斷在資料架構上進行升級改造，其目的在於解決螞蟻所面臨的資料物理孤島問題。如今，螞蟻以及整個阿里巴巴集團的底座都統一到了同一個平臺上，這樣當實現第五代資料架構體系升級時，就降低了一站式研發的整體門檻，並使得螞蟻金服的所有工程師都可以在平臺上輕鬆玩轉資料。如今，在螞蟻的資料架構中已經能夠很好地解決資料孤島問題，而如今在資料治理體系中所需要關注的就是邏輯的孤島。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190223194347675.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)
在對資料治理展開論述之前，先談一談資料價值。之前的情況是，當資料首先需要經過專門團隊負責處理，刪除沒有價值的資料，負責上線或者下線資料。但是，對於資料價值的判斷也是一個非常令人頭疼的問題，大部分的資料只會上線不會下線，這樣就造成了大量沒有價值的資料的堆積。而如今，螞蟻不僅關心下線沒有價值的資料，同時也側重資料資產的價值最大化。在資料價值方面，螞蟻有一套完整的資料資產等級以及資料資產的易用模型，這樣就能夠驅動自身充分利用資料資產，來創造更多的價值。但是如果這些資料被使用了，但是質量卻很低，這樣就會使得資料資產的價值大打折扣。

**資料質量產生分析**

接下來將重點介紹螞蟻金服在資料治理質量領域的實踐思路和方案，並與大家分享兩個案例。如下圖所示的是抽象資料抽取的全流程圖。當某個業務同學錄入資料的時候出現一點錯誤，就會造成資料的質量問題，比如把客戶的行業資訊填錯或者打錯了一個字都會造成資料質量問題，而這樣的問題很容易出現。在基於傳統資料庫資產開發資料應用的時候，基本都是從資料來源端產資料過來，經過加工、分析再將資料傳送出去，也就是“從業務中來，最後回到業務中去”。現在的方案與之前存在很大區別，以前做資料處理時，從資料生產的採集資料來，加工之後就給出去了，而如今螞蟻很多資料應用將資料處理之後還會回到資料系統中。比如芝麻信用分的計算中存在很多大家看不到的場景，這些資料處理之後還會回到系統之中，而這個過程中每個環節都可能存在資料質量問題。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190223194455119.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)
## 二、資料質量治理的挑戰

在下圖中的左側展示了螞蟻的業務形態。如今，螞蟻的業務場景已經不再僅限於統計分析，而在螞蟻的芝麻分、花唄、借唄以及“310”放款的背後都是資料在進行支撐並驅動著其發展。今天，螞蟻的業務形態成為了“技術+資料+演算法”三者的融合來追求價值最大化。與此同時，資料質量治理也存在著諸多挑戰，它們來自於業務方面、資料方面、使用者方面。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2019022319450678.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)

## 三、資料質量治理實踐

**資料質量治理思路**

從事金融業務的同學往往深有感觸，網際網路金融時代業務的生命週期縮短了很多，並且變化也非常頻繁，相比於原本銀行的節奏顯得非常快。此外，目前無論是螞蟻金服還是阿里巴巴都在談“資料業務化、業務資料化”，資料和業務一同共同發展和前進，並且已經進入了發展的深水區。之前的幾年，螞蟻在業務上偏向於“T+1”，而如今，原來的架構體系不足以支撐螞蟻未來繼續發展以及高時效性的訴求。同時，如今螞蟻的資料體量很大，而資料業務也驅動螞蟻的整個人才體系的升級。現在，除了本身做資料演算法研發的同學之外，其他的技術同學也都會在平臺上使用資料，這些同學可能對於資料的認知不同，那麼在資料驅動下真正保證資料質量就顯得異常重要。

那麼如何實現資料質量治理呢？首先，需要有一套明確的組織，這是持續建設企業文化的土壤，而資料質量治理文化的建設一定是一個確定的、有組織的並且需要長期持續推進的事情。在組織保障和質量文化的基礎之上，螞蟻還側重了研發流和資料流。在金融領域，研發流的管控更嚴格，也更嚴謹。而對於如今的網際網路金融而言，也需要進行強管控，這是因為業務形態決定了研發週期很短，現在螞蟻在研發流做了強管控，在一站式資料研發平臺上，使用了分級管控。需求提出之後就會被等級管理，並且進行打標，進而走入不同流程。此外，研發流上還側重分級管控，在同一套標準上定義級別，拉平不同的研發流。對於資料流而言，當一個應用釋出到生產環境之後，大部分精力花費在資料流中，每天需要從生產環境將資料採集到處理平臺，然後執行演算法計算，之後將資料返回到生產環境中，走這樣的閉環。如今，螞蟻在資料流鏈路上做了很多事情，也建設了很多能力。對於資料流而言，如果源頭被汙染了，如果不能控制其汙染到下游，那麼越往下修復成本就越大。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190223194527187.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)
基於以上的資料質量治理思路，螞蟻金服做了很多有意思的東西，在資料平臺執行時會將整個體系監控起來，如果出現資料質量故障，就能夠及時進行修復。此外，從研發到生產的各個環節，螞蟻都做了大量的工作，這是因為基於平臺進行資料研發的同學很多，需要儘量降低使用門檻。對於全資料流而言，主要建設了四大能力，包括感知能力、識別能力、智愈能力和運營能力。平臺需要能夠感知釋出任務的故障問題以及資料質量問題，此外，平臺需要能夠識別出潛在風險，因為需要非常及時地瞭解被破壞的資料。當風險被識別出來之後，就需要智愈能力，之所以使用“智”，是因為原本資料處理任務往往是離線的，可能從凌晨開始到早上8點鐘左右屬於資料生產高峰，在這段時間裡會有人員參與質量保障任務。而智愈能力就希望透過AI演算法來配合資料處理工作，使得感知能力疊加演算法能力，能夠對於資料感染進行自愈。最後是運營能力，資料質量不會被展現在前臺，如果資料質量足夠好，完全可以實現無感知，使用者不用再擔心資料能不能用，也不會出現敢不敢用的疑惑，因此資料質量對於運營而言也非常重要。其實，資料質量問題既不僅屬於研發也不僅屬於業務，而是需要全員參與，共同來解決，這就是資料治理的思路。

**螞蟻資料質量治理架構**

如下圖所示的是螞蟻金服的資料質量治理架構體系。在系統層，按照上述所談到的具體思路，研發階段主要集中在資料測試、釋出管控以及變更管理等方面的建設，這裡著重提及變更問題，資料的變更不僅僅設計到系統層的變更管理，也會涉及到線上系統的相互打通。如今，線上資料來源的變更，也會使得資料運營發生變更，更可能會導致資料運營的資料質量問題。線上研發部分為資料運營系統提供了一些相關的介面，能夠通知使用者線上的哪些變更會影響到資料運營。對於釋出管控能力而言，螞蟻投入了大量精力進行研發。目前在螞蟻已經沒有專職負責資料測試的同學，基本上全部都是全棧工程師，所以對於研發而言可能管控不是非常強，但卻實現了強大的釋出管控能力，將與經驗、規範、效能以及質量相關的檢測全部在這部分執行。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190223194544998.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)
在生產階段，則主要側重於質量監控、應急演練以及質量治理這三個系統能力。質量監控告警系統能力在大部分的資料系統架構中應該都有，其功能類似於汽車的剎車功能，因此肯定是存在的。而螞蟻卻做了一件很有意思的事情——資料攻防演練，工程師會人為創造故障，然後測試系統能否在短時間內發現故障並進行有效修復，這部分也是目前螞蟻在重點進行建設的能力。在質量治理部分，會根據不同應用的級別，釋出到生產環境之後進行定期巡檢，分析是否會影響資料質量。總之，對於資料質量架構體系的系統層而言，不僅原資料非常重要，如今更是結合機器學習來自動配置一些相關策略。

**資料質量治理方案**

如下圖所示的是螞蟻金服在實踐中的事前、事中、事後的資料質量質量方案。整體而言，事前包括需求、研發、和預發三個階段，而如今螞蟻在事前可以做到的可管控、可模擬、可灰度。在事中，監控問題是重點建設的，出現問題不可怕，但是需要實現自主發現問題。而為了使得防禦能力更強，螞蟻實現了主動的攻擊演練，而正是透過攻防演練，幫助螞蟻發現了自身很多薄弱的地方。除此之外，還在事中提供了強大的應急能力，某些事件將會觸發應急預案，在這部分，保證資料質量其實就是把不確定的資料風險變成確定的東西。在事後，資料質量也非常重要，事後需要透過有效的指標和管控手段來進行審計和度量，以此發現整個鏈路上不完善的地方並持續完善。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190223194600381.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDMyNjU4OQ==,size_16,color_FFFFFF,t_70)
**資料質量治理案例**

最後為大家分享螞蟻金服在資料質量治理方面的兩個案例：

案例1：在螞蟻資料治理架構體系下的釋出環節，實現了一個釋出強管控的流程。任何指令碼在提交時都需要經過檢測，然後釋出到線上，並再進行一次檢測。
案例2：資料治理涉及到整個鏈路，而針對不同鏈路上的資料版本，資料採集主要是將資料從一端搬運到另一端，不存在加工的過程，此時可以人為注入一些故障，分析資料質量治理體系能否發現問題並作出修改，因此這就產生了“攻”與“防”雙方。資料加工處理又另外一套體系結構，其涉及邏輯的加工，更多地需要考慮注入怎樣的故障，需要面臨什麼。如今，在螞蟻真正落地資料質量治理體系的時候，在攻防演練環節投入了大量精力。
 點選[閱讀更多](https://tech.antfin.com/articles?chInfo=zh)，檢視更多詳情

螞蟻金服資料質量治理架構與實踐

相關文章