【資料治理案例分享】寶馬客戶資料平臺資料質量問題管控及常態協同機制

文章摘自【2020資料質量管理標杆獎項徵集作品精選】

專案背景介紹

數字化市場下的中國汽車行業

過去二十幾年，中國汽車市場經歷了井噴式增長（圖1）。但自2018年起，汽車市場銷量遭遇了28年來首次負增長1，雖然在2019年有少量的回升，但短期市場調整趨勢不變，汽車行業銷售市場的洗牌期已至，各品牌之間的競爭也逐漸進入白熱化階段。而傳統業務模式在當前數字化市場前提下，難以提高企業勝任力，傳統汽車企業數字化佈局勢在必行。

 

圖1｜中國新車銷量（萬輛）   來源：中國汽車工業協會

隨著中國網際網路的高速發展，中國市場的數字化程式一直在全球市場處於領先定位，大多數消費者長期沉浸在高度成熟的數字化市場，對於數字化體驗有更高要求的期待：可以隨時隨地、通過各種觸點方式，得到及時、正確的服務資訊。消費者對於數字化體驗的要求顯著高於全球其他市場，中國汽車行業數字化轉型也面臨了其他市場未曾遇見的挑戰和機遇。

寶馬領悅 – 開啟寶馬中國市場數字化轉型

為了推動寶馬向“以客戶為中心”的數字化轉型。寶馬集團在2019年在中國成立全球首家數字業務全資子公司——領悅數字資訊科技有限公司（以下簡稱“領悅”）。領悅旨在通過提供數字化解決方案與資料服務，來驅動寶馬汽車“以客戶為中心的”數字化轉型，業務範圍涵蓋全渠道營銷數字化解決方案、大資料分析、客戶關係管理、電子商務以及數字營銷服務。此外，領悅還通過與合作伙伴及第三方合作為使用者提供增值服務，併為寶馬集團經銷商數字化轉型提供培訓和支援。

圖2｜領悅數字資訊科技有限公司領導層

左 - 寶馬集團大中華區總裁兼執行長  高樂

中 - 領悅公司總裁兼CEO  梅曉群

右 - 華晨寶馬汽車有限公司總裁兼執行長  魏嵐德 博士

寶馬客戶資料平臺介紹

在領悅整體驅動“以客戶為中心”的數字化轉型的目標背景下，領悅搭建了客戶資料平臺（Customer Data Platform，CDP），為寶馬提供客戶相關的資料服務。CDP平臺建設定位是寶馬中國的客戶資料平臺，負責整合內部、外部、線上以及線下的客戶資料，通過大資料分析及大資料應用，支撐商業決策，驅動業務流程，幫助銷售線索的產生及轉化，提高保客營銷的效率及效果，管理跨渠道營銷活動，提供客戶洞察等。

因此準確、標準、合規的高質量資料，是CDP客戶資料平臺的運營基礎，也是寶馬中國資料化轉型的基礎因素。

資料質量-數字化轉型面臨的挑戰

寶馬作為傳統制造行業，在業務不斷髮展和擴大的過程中，改造或新建了不同系統實現對業務的支撐，並且隨著業務逐漸更新迭代，給資料整合和資料處理帶來了更多的挑戰。

1.資料操作分散、失控，導致資料碎片及質量失控

傳統企業最常見的資料問題是資料煙囪。以目前售後業務為例，考慮到財務、管理、備件、車間等各個業務，各個獨立的子系統數十個。資料的碎片化大大增加了資料整合和處理的困難。

2.缺少資料處理標準規範，直接降低資料可用性

不同資料主題的資料應用和資料專案定義了不同的資料處理規範，從資料業務主題視角缺乏統一的資料梳理處理流程和資料處理規範，難以識別多個系統中的唯一客戶。

3.歷史資料問題複雜，增加資料應用整合成本

系統更新迭代導致遺留的資料問題：業務系統的更新迭代或系統的遷移往往考慮是功能層面的覆蓋，而沒有在資料標準、質量層面進行系統化的管理。原有業務系統的更迭會帶來資料表結構的變化，歷史上也多次發生因為新舊系統表結構不一致，資料內容定義不一致，取值範圍不一致導致資料的失真和不可用。

設計思路及實施流程

專案建設思路

1.管理能力現狀評估 - 定製評估模型，開展資料質量管理現狀分析，明確建設方向

CDP作為寶馬中國的客戶資料平臺，需要對接既有業務系統的客戶資料、車輛資料以及經銷商交易資料等。面對已建系統數量多，領域覆蓋廣，業務邏輯複雜，大量歷史資料問題未得到解決等情況，需要在建設過程中，對CDP的接入資料進行全生命週期的整體管控，旨在避免資料接入平臺的同時將歷史資料問題一併接入，保障後續CDP資料的高質量運營。

專案啟動階段，針對主流的資料管理能力體系、資料管理能力成熟度評估模型等進行研究，定製符合寶馬中國客戶資料平臺現狀的資料管理評價體系，圍繞客戶資料平臺的資料管理能力進行全面分析、評估，識別資料管理能力的短板、明確後續短期建設內容和長期建設方向。

2. 質量問題收集分析 – 收集分析既有資料問題，形成短期速贏及長期管理方案

站在客戶資料平臺的視角，作為資料來源的已建業務系統對應不同業務領域，普遍存在基礎資料標準不統一、編碼取值不規範、指標口徑不一致以及資料權責不明確等問題，資料接入後需要經過定義統一、格式清洗、程式碼轉換、重複資料整合等一列治理過程，才能夠具備應用支撐條件。

專案啟動後，同步進行資料質量問題收集。基於資料質量管理理論,形成寶馬客戶資料平臺速贏方案及資料質量管理機制，短期內形成對資料應用的有效支撐的同時，並長期承載資料質量常態監控的運營。

3. 細化方案落地實施 - 構建資料管理能力，解決熱點資料問題，實現高質量資料應用支撐

基於現狀評估結果，確認資料能力待開展建設內容；結合問題收集及分析情況，將資料能力建設聚焦在有限解決熱點問題的內容方面；同時梳理客戶資料平臺收到的應用需求，梳理出關聯資料項。將資料能力建設、資料熱帶問題、業務需求關聯資料項相結合，最終落實資料質量提升方案；實現關鍵資料可用，實際支撐資料應用的開展。

專案建設過程從三個層面同時開展，從組織、流程、工具層面夯實資料管理基礎能力；基於對熱點問題的收集、分析，通過清洗接入資料、校驗輸出資料、監控資料加工過程等方法實際解決資料質量問題；基於資料應用，對資料內容進行規範化，保證資料可用性，滿足業務應用需求。

專案實施流程

1.資料質量管理能力現狀評估

參考DCMM資料管理能力成熟度評估模型的框架和內容，結合寶馬領悅客戶資料平臺的建設需求，將後設資料、資料質量、主資料作為寶馬領域現階段資料管理能力成熟度評估的主要領域。針對寶馬領悅客戶資料平臺資料質量管理工作，從資料質量需求、資料質量檢查，資料質量分析以及資料質量提升四個維度依據實際情況進行評估。

通過對既有線上系統、線下流程的情況調研訪談、素材收集，結合業務部門、IT部門對資料質量管理的參與程度，整體上對寶馬領悅資料質量管理的開展情況進行量化定位。基於評估結果，後續建設內容需要包括建立統一的資料質量管控流程，包括資料質量問題收集、資料質量需求定義、資料質量問題分析以及資料質量問題解決的規範管控；明確各類角色在資料質量問題解決中的職責；以及各環節的工作方法和輸入輸出成果。

2.資料質量問題收集及根因分析

結合客戶資料平臺在資料接入過程中遇到的各類資料質量問題，參考“資料質量提升的十個步驟”，針對問題收集、現象分類、影響分析以及根因識別等環節需要的資訊進行資料質量問題收集模板的定製。

基於各方收集資訊，對實際問題的現象、根因、影響進行充分評估，確認短期速贏課題，明確資料質量常態運營工作流程及各方職責，作為後續資料質量解決落實的基礎。

3.資料質量提升工作落實

（1）設計併發布寶馬領悅資料治理框架，明確各個角色職能及協作流程

參考國內外相關方法論，結合寶馬領悅實際職能部門設定及具體工作內容，設計寶馬領悅資料治理框架，成果包括設計及釋出資料治理組織規劃、資料管理相關流程，明確後設資料管理平臺作為資料資產的承載工具，負責資料資產的日常運維。

（2）利用後設資料管理平臺承載關鍵資料資產，明確的資料質量監控物件及監控鏈路

客戶資料平臺一方面接入源系統資料，另一方面對外提供資料服務。保證資料質量的前提是對資料物件的業務定義、取值規範、系統流向、過程中的加工邏輯進行全過程的記錄。實際工作中，通過後設資料工具自動抽取多個源系統的技術後設資料物件及關係，同時資料團隊提供資料模板，與業務團隊共同針對關鍵案例、報表、指標以及實時資料展現等各型別業務後設資料進行資訊收集及確認，同時落實資料管家職能，並在後設資料平臺中進行對應關係的對映。這些資料資產及端到端的鏈路資訊為資料質量提供明確的監控物件及監控鏈路。

（3）基於資料質量監控維度，結合關鍵資料項質量問題，細化客戶管理平臺監控規則

基於DMBOK等方法論的資料質量基礎維度，寶馬領悅完成設計並已經用於資料常態監控的規則覆蓋資料完整性、規範性、一致性、準確性、唯一性、關聯性等方面，結合關鍵資料項出現的實際問題，設計用於檢測基礎資料項、指標等物件的質量檢測規則。

（4）落實客戶資料平臺資料質量管理閉環流程，規範並細化各環節工作內容及交付

參考資料質量十步法，結合實際資料質量問題的收集、分析步驟，設計客戶資料管理平臺資料質量問題管理流程及實際舉措，並統一工作方法和輸出物，用以指導後續客戶資料平臺資料質量管理工作。

圖3 | 領悅資料質量管理閉環流程

（5）開展資料價值鏈分析，識別引發資料質量問題的系統操作，建立專題小組進行跟進解決

針對關鍵資料資產，通過開展資料價值鏈分析，識別關鍵資料項在資料流轉過程中被多流程、多系統、多角色建立及維護的情況，識別資料操作關係衝突。資料操作問題涉及到多系統既有業務流程，需要進行多方協調以及確認系統調整技術方案，因此由資料領導小組進行決策，針對具體問題形成專題小組，後續由資料治理辦公室協調排期陸續解決。

（6）設計關鍵主題主資料標準，通過主資料對外提供統一資料服務

寶馬客戶資料平臺為寶馬中國市場提供統一的客戶資訊，根據接入資料內容及質量問題，對資料進行定義統一、格式清洗、程式碼轉換、重複資料整合等一系列質量治理過程，形成客戶資料平臺資料資產。

基於這些資料資產，資料管理辦公室協同業務資料管家，明確重點業務場景對客戶資料的需求，設計併發布各類主資料規範。並基於規範內容進行資料整合，實現對多個業務場景的服務。

主要創新點

價值引領-業務價值引領資料質量管理能力建設

以業務需求為導向，以業務應用支撐為目標，由前端業務價值引領後端資料質量能力建設，是寶馬領悅圍繞客戶資料平臺開展資料質量提升工作的顯著特點。

寶馬客戶資料平臺，旨在整合客戶資料和營銷體系內的系統，打造客戶洞察和使用者運營的能力，為客戶提供更好的服務體驗，為經銷商輸出更有價值的資訊。基於寶馬客戶資料平臺的應用直接支撐包括整車銷售、售後服務、客戶關懷、市場活動管理等多個關鍵業務環節，明確的業務應用場景確定了資料範圍以及對資料內容的質量要求。

理論創新-選用多種方法論，定製適配實際情況

寶馬客戶資料平臺資料質量管理總體工作中研究、參考了國內外多種資料治理領域方法論。

• DAMA推出的DMBOK 2.0（DAMA Guide to the Data Management Body of Knowledge 2）

• DGI資料治理框架（The DGI Data Governance      Framework）

• 資料管理能力成熟度評估國家標準（DCMM，Data Capability Management maturity model）

• 資料質量提升十步法（Ten Steps to Quality Data      and Trusted Information）

• DQAF資料質量評估框架（DQAF：Data Quality Assessment Framework）

• Larry English提出的劣質資料成本分析方法

結合寶馬客戶資料平臺的實際建設情況，通過對上述方法論的研究和應用，最終形成了寶馬領悅資料質量管理的工作方案。

多方協同-業務、技術以及資料多團隊跨域協作

資料質量問題的出現，表面上看系統內資料的問題，究其本質是資料在業務定義、開發運維、傳輸加工以及業務場景應用及更新等生命週期各環節中存在定義不清晰、取值不統一、操作不規範等情況而導致的。所以資料管理過程中各個環節、各個角色針對資料進行的各型別操作都有可能造成資料質量問題的出現。

傳統資料質量問題的解決，主要是由IT團隊利用技術手段提供支撐，這種做法是在資料生命週期末端，從現象層面解決已經暴露出的資料問題。但是沒有涉及到資料在生產加工過程中各環節的不當操作，沒有根除出現問題的原因。

寶馬領悅在收集資料問題的基礎上，通過資料資訊環境分析以及資料價值鏈分析，還原資料在跨業務場景中建立、加工、運維、使用的實際情況。分析識別資料操作干係人，並通過設計和釋出《寶馬領悅資料治理框架》將跨業務領域、跨職能部門的資料管家角色進行明確，定義資料管理工作流程，建立資料質量管理多方協同工作的機制，並在實際工作場景中得到了有效落實。

務實見效-固化線下流程指導資料質量平臺搭建

寶馬領悅通過具體資料問題的解決，理順線下流程，明確問題所涉銷售、售後以及會員管理等各業務部門的人員職責，同時明確技術團隊的配合內容，通過資料治理框架的搭建，對資料質量問題協同工作介面進行流程和角色固化，為後續線上資料質量工具的建設打下良好的基礎。

傳統資料質量管理工作一般以技術手段作為切入點，藉助資料質量管理工具對資料問題現象進行糾正。對於寶馬客戶資料管理平臺來說，已經實現了多個業務種類的資料來源接入，大多數資料問題的解決都需要多個業務部門、多個技術團隊以及管理層的聯動和協同。單純的技術的手段可以暫時糾正錯誤資料，暫時緩解錯誤現象，但是不能從根本上避免錯誤問題的再次出現。寶馬領悅旨在探查導致資料問題出現的技術及管理因素，形成解決方案，從根本上避免問題的重複出現，後續通過搭建資料質量平臺等線上手段進行流程承載。

實際收效

呈現客戶資料平臺資產內容，提高資料利用效率

基於各個資料來源提供的資料字典，CDP為接入的每一張表梳理並豐富了後設資料資訊，包括業務定義、取值範圍、口徑邏輯、質量規則約束等內容；同時，與資料湖中物理層實際資料加工過程進行關聯，實現語義層和物理層的資訊貫通。

基於詳細、完備的後設資料資訊管理即呈現，使資料消費方能有效提升業務資料案例前期的資料篩選，寶馬集團內部已經有多個業務部門對客戶資料平臺提出資料需求，實際提升客戶資料平臺資料資產利用效率。

提供統一客戶主資料服務，增加售後客戶觸達量

客戶資料平臺中整合了客戶、人車關係等多型別主資料。

客戶主資料將不同系統中不同的客戶id根據規則進行整合，識別客戶One id；並基於客戶One id，對接系統中的使用者資料，形成使用者唯一資料真相，並融合第三方資料構建使用者360畫像。

人車關係主資料的整合來自多系統的車輛銷售、售後服務以及會員服務等資料，梳理不同系統中人車資料建立/更新/刪除的資料流及對應業務場景，並與業務部門協作整理人車資料衝突規則，為超過一半的已銷售車輛構建準確車主資料。

主資料內容服務對業務場景產生了直接的支撐。根據寶馬中國相關業務場景統計資料，會員繫結自動通過率及營銷活動車主有效觸達率均有顯著提升。

建立多部門協同機制，系統化保障增量資料質量

針對系統中出現的編碼不統一，格式不合規等資料內容問題；以及資料內容正確，但是業務邏輯不合理的情況，資料組牽頭，設計“清存量、控增量、多手段、跨部門”的協作機制以及操作流程。

圖4 | 跨部門資料質量協作機制

• 資料團隊

制定及維護質量規則，依據規則對客戶資料平臺存量資料、接入資料進行清洗；常態收集資料質量問題，協調解決。提供客戶主資料、車輛主資料、人車關係主資料支撐業務場景的實際應用。

• IT部門

資料質量規則確認、反饋；依據資料質量規則對源端系統進行資料錄入校驗；配合資料質量問題的解決；提供資料素材接入客戶資料平臺。

• 業務部門

資料質量規則確認、反饋；依據資料質量規則對下游經銷商資料操作進行規範、考核；配合資料質量問題的解決。

提高業務指標可用性，增強各領域業務營銷能力

通過資料質量的提升，對各類業務KPI的業務規則、取數口徑以及加工邏輯等都有了進一步的細化和規範，實際有效提升KPI的應用價值。直接支撐營銷Dashboard前端到後端全鏈路商業指標的展現。配合資料質量管理流程，實現指標定義、釋出、加工以及常態運維的全流程質量監控。

有效解決存量資料問題，支撐業務應用發揮實效

針對寶馬客戶資料平臺存在的各類資料質量問題，經過包括資料資產內容以及組織流程等系列工作，有效解決了問題現象的數量，實際提升了資料的可用性，通過客戶資料平臺提供的各類資料，對業務場景的支撐能力也得到了明顯提升。經過系統化清理後的資料，有效提高了不同業務部門和經銷商的滿意度，並提高了資料相關資料案例的準確性：

•  經銷商資料相關提單率下降：在客戶資料平臺實行常態化資料質量管理後，運維繫統單月收到經銷商提報有關資料質量/資料準確性相關的單據大幅度降低 。

• 演算法模型精準度提升：針對通過演算法模型構建的資料案例，如車輛增換購模型，客戶購買預期評級模型等，在客戶資料平臺開展常態化資料質量管理後，通過剔除異常無效資料，補齊缺失資料，演算法模型的精準度均有不同程度的提高 。

截至目前，客戶資料平臺已經為眾多業務場景提供資料支撐服務，在提升業務部門工作效率的同時，也能更快的識別高價值客戶，提高銷售和售後的產值。