個推資料治理實踐分享:這些避坑經驗一定要看!

個推2018發表於2021-08-24

資料治理是企業數字化升級過程中的重要一環。如何讓資料治理事半功倍,開展地更加順利並最終有效服務於業務場景呢?在近日的個推TechDay線上技術直播中,個推資料中臺解決方案顧問阿宣圍繞資料治理的主題,分享了個推的實踐經驗和方法論,並結合實操案例對企業資料治理過程中的避坑點進行了細緻剖析。

 

作為一家資料智慧公司,個推多年來持續對自身積累的百億級資料進行治理,深刻理解企業開展資料治理過程中的痛點和難點。結合自身資料治理經驗,個推將資料治理的實施過程拆解為明確戰略需求、進行資料規劃、組織建設、方案設計、落地實施等五步。

 

個推資料治理五步走

 

Step1:明確戰略需求

 

個推認為,企業進行資料治理的過程中,頂層設計和組織建設尤其關鍵。我們需要將資料治理視作一項戰略層面的活動,要有明確的目標和方向,使得資料治理最終能夠滿足業務需求,為業務創造價值。

 

那麼,企業如何從戰略層面梳理和確認資料治理的價值和目標呢?個推建議採用系統化的方法——“ 3C理論”,即從企業(company)、客戶(customer)、競爭(competition)等方面綜合考量企業當前的數字化現狀、需求和能力。“企業”指的是企業當前的資金財務狀況、IT建設水平、資料資產和產品設計等現狀;“客戶”指的是企業在行業裡所佔的市場份額,銷售、營銷等方面現狀;“競爭”指的是競品情況、自身的市場競爭優勢、外部市場環境等。

 

個推結合時尚服飾品牌案例進行了剖析。該服飾品牌客戶多年來專注主營業務,面對外部市場的競爭壓力,希望透過數字化建設來尋找新的增長點。客戶希望透過對資料進行統一治理,利用大資料形成使用者畫像,將使用者資訊和商品資訊關聯起來進行分析,從而改進服飾設計提高銷售額。

 

資料治理的頂層設計


結合客戶當前的資料孤島、技術能力相對薄弱等現狀,並對智慧營銷、資料指導產品設計、物流數字化等意向資料應用進行利益和風險評估後,最終我們建議客戶將智慧營銷作為優先順序最高的目標,以此來規劃後續的資料治理路徑。

 

Step2:進行資料規劃

企業進行資料規劃的前提是對自身資料現狀和環境進行充分調研和梳理。我們建議從以下四點切入:1. 梳理自身業務系統。2. 對現有資料資產進行跨系統、跨業務的分類,比如電商行業可以將業務資料分為買方資料、賣方資料、購買行為資料三類。3. 對每一類資料資產的詳情進行充分調研,包括 資料量、關鍵欄位、更新狀況、飽和度、可信度、呼叫場景和頻率等明細情況。4. 和當前業務方、資料運營人員充分溝通使用資料過程中存在的問題和難點。比如,電商業務中,可能存在訂單資料更新不及時、不同地區的資料異構或者商品部分欄位資訊不全、非結構化資料多等問題。

 

對內部資料環境進行了充分調研後,企業就可以針對性地制定內部多源異構資料的治理方案。其中,很關鍵的一點是對資料資產進行整合,構建出符合業務邏輯的 資料資產模型。比如,對電商資料進行資料治理,需要將不同體系的訂單資料、使用者資料、商品資料等進行打通,實現同一業務類別的資料都具有統一的欄位,為後續進行準確的資料計算、構建業務演算法模型創造基礎和條件。

 

對於不同業務類別的資料,則要梳理出資料之間的聯絡,可 透過資料ER關係圖或者血緣圖將資料資產之間的關係視覺化,方便進行資料之間的關聯分析。比如,訂單資料涉及買方、賣方和商品資料,那就可以將訂單資料和買家資料、賣家資料、商品資料進行對應關聯,構建出完善的資料資產關係圖譜。

 

資料資產關係圖譜

資料規劃的最後一個環節是 資料分層,指的是按照資料治理的階段及資料用途將資料進行清晰的歸類分層,比如歸類為ODS接入層、DW中間層、ADS應用層等。如此一來,資料運營人員就可以在業務方提出資料使用需求時,快速地對應到具體的資料層進行查數和提數,從而為資料應用提效。

 

Step3:資料治理組織建設

 

資料治理組織建設中,企業需要綜合考量資料規模、資料治理難度、業務複雜性等因素,建設一個規模合適,同時能深刻理解業務需求的資料治理組織。

 

對於大多數初創企業來講,至少要設定 資料治理負責人、資料分析師、資料管家、系統管家這四個基本角色,以保證資料治理整個鏈路中的要求和目標能夠得到落地實施。同時,這四個角色要分工明確,有成熟的協同機制,確保組織架構體系能夠有效運轉。

 

資料治理組織架構設計

 

而對於大型企業而言,則要更多地關注資料和資訊的體系化管理,注重激勵制度的完善以及內部多個部門之間的高效安全協同。其中, 問題上升通道和戰略執行通道的暢通非常關鍵。問題上升通道,指的是要將業務部門在使用資料過程中遇到的資料問題及時反饋給資料管家和治理團隊,以驅動資料治理方案不斷迭代,使得資料質量不斷提升;戰略執行通道則是指企業要從業務全域性和戰略層面出發來推動資料質量問題的解決,減少跨部門、跨系統之間協作的阻力,從而使資料治理的過程更加高效。

 

資料治理組織架構設計

 

Step4:資料治理方案設計

企業在設計資料治理方案時,要著重關注資料管理體系和資料價值體系這兩個方面。

 

資料管理體系主要是為資料賦予業務含義,對資料資產質量進行科學衡量,並在保障資料安全的前提下, 實現資料全生命週期的自動化管理,包括自動進行上線、ETL和下線等。在快時尚行業,服裝款式更新迭代快,相應的,服裝類商品資料的生命週期也就較短。這就需要快時尚企業對商品資料進行有效管理,及時進行商品資料的更新和再次治理。

 

資料價值體系則是從多維度量化企業的資料資產價值,為企業開展資料資產的運營和決策提供依據和支撐。資料價值體系包括 資料流通、資料服務、資料洞察等三個模組,指的是能夠把資料價值流轉出去,敏捷響應業務的複雜性需求,為業務分析和洞察提供有效的參考。企業需要持續改進和迭代資料治理的流程,以構建資料資產價值創造閉環,真正盤活資料資產。

 

Step5:資料治理落地實施

最後一步,就是落地實施。企業根據資料治理方案,依次完成 統籌規劃、標準落地、資料註冊、資料整合、資料勘探、監控評價等資料治理環節。需要強調的是,企業進行資料治理的過程非常複雜,僅靠人力是遠遠不夠的,自動化的實施工具同樣重要。

 

如何進行資料治理工具的選型呢?個推建議從以下三個方面來考量: 1.技術功能,即產品功能要全面,能夠滿足實施過程中的全部需要。 2.可複用性,指的是產品的功能要能夠通用、複用到多種業務場景。 3.售後完善,由於資料治理的複雜性,單純的產品並不足以滿足企業的需求,詳細的使用培訓以及專業的資料治理諮詢服務同樣重要。

 

這裡要著重介紹下 個推的資料中臺產品—— 每日治數平臺

 

資料中臺-每日治數平臺

 

每日治數平臺沉澱了個推多年的資料治理經驗,產品功能齊全,提供從資料接入層到資料應用層整個鏈路的資料治理服務。平臺實現了資料治理全流程的視覺化操作,業務人員也可以使用它便捷地開發和使用資料。每日治數平臺已經服務於品牌營銷、智慧交通、智慧城市等多個行業,能夠滿足不同企業開展資料治理的多樣化、複雜性需求。同時個推還提供專業的數倉規劃和資料建模服務,幫助企業構建資料資產中心,把資料對業務的切實價值真正挖掘出來。

 

總結

 

總的來說,資料治理是一項 系統性、長期性的大工程。企業也需要在具體的資料治理實踐中,密切關注業務發展和動向,及時迭代和最佳化資料治理策略,才能把資料治理好,將資料的價值釋放出來。

 

後續,個推還將繼續分享資料中臺、資料治理、資料探勘、演算法建模等方面的乾貨內容,個推TechDay線上直播也將持續進行,請大家繼續保持關注。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31556026/viewspace-2788597/,如需轉載,請註明出處,否則將追究法律責任。

相關文章