個推資料治理實踐分享:這些避坑經驗一定要看!
資料治理是企業數字化升級過程中的重要一環。如何讓資料治理事半功倍,開展地更加順利並最終有效服務於業務場景呢?在近日的個推TechDay線上技術直播中,個推資料中臺解決方案顧問阿宣圍繞資料治理的主題,分享了個推的實踐經驗和方法論,並結合實操案例對企業資料治理過程中的避坑點進行了細緻剖析。
作為一家資料智慧公司,個推多年來持續對自身積累的百億級資料進行治理,深刻理解企業開展資料治理過程中的痛點和難點。結合自身資料治理經驗,個推將資料治理的實施過程拆解為明確戰略需求、進行資料規劃、組織建設、方案設計、落地實施等五步。
Step1:明確戰略需求
個推認為,企業進行資料治理的過程中,頂層設計和組織建設尤其關鍵。我們需要將資料治理視作一項戰略層面的活動,要有明確的目標和方向,使得資料治理最終能夠滿足業務需求,為業務創造價值。
那麼,企業如何從戰略層面梳理和確認資料治理的價值和目標呢?個推建議採用系統化的方法——“ 3C理論”,即從企業(company)、客戶(customer)、競爭(competition)等方面綜合考量企業當前的數字化現狀、需求和能力。“企業”指的是企業當前的資金財務狀況、IT建設水平、資料資產和產品設計等現狀;“客戶”指的是企業在行業裡所佔的市場份額,銷售、營銷等方面現狀;“競爭”指的是競品情況、自身的市場競爭優勢、外部市場環境等。
個推結合時尚服飾品牌案例進行了剖析。該服飾品牌客戶多年來專注主營業務,面對外部市場的競爭壓力,希望透過數字化建設來尋找新的增長點。客戶希望透過對資料進行統一治理,利用大資料形成使用者畫像,將使用者資訊和商品資訊關聯起來進行分析,從而改進服飾設計提高銷售額。
結合客戶當前的資料孤島、技術能力相對薄弱等現狀,並對智慧營銷、資料指導產品設計、物流數字化等意向資料應用進行利益和風險評估後,最終我們建議客戶將智慧營銷作為優先順序最高的目標,以此來規劃後續的資料治理路徑。
Step2:進行資料規劃
企業進行資料規劃的前提是對自身資料現狀和環境進行充分調研和梳理。我們建議從以下四點切入:1. 梳理自身業務系統。2. 對現有資料資產進行跨系統、跨業務的分類,比如電商行業可以將業務資料分為買方資料、賣方資料、購買行為資料三類。3. 對每一類資料資產的詳情進行充分調研,包括 資料量、關鍵欄位、更新狀況、飽和度、可信度、呼叫場景和頻率等明細情況。4. 和當前業務方、資料運營人員充分溝通使用資料過程中存在的問題和難點。比如,電商業務中,可能存在訂單資料更新不及時、不同地區的資料異構或者商品部分欄位資訊不全、非結構化資料多等問題。
對內部資料環境進行了充分調研後,企業就可以針對性地制定內部多源異構資料的治理方案。其中,很關鍵的一點是對資料資產進行整合,構建出符合業務邏輯的 資料資產模型。比如,對電商資料進行資料治理,需要將不同體系的訂單資料、使用者資料、商品資料等進行打通,實現同一業務類別的資料都具有統一的欄位,為後續進行準確的資料計算、構建業務演算法模型創造基礎和條件。
對於不同業務類別的資料,則要梳理出資料之間的聯絡,可 透過資料ER關係圖或者血緣圖將資料資產之間的關係視覺化,方便進行資料之間的關聯分析。比如,訂單資料涉及買方、賣方和商品資料,那就可以將訂單資料和買家資料、賣家資料、商品資料進行對應關聯,構建出完善的資料資產關係圖譜。
資料規劃的最後一個環節是 資料分層,指的是按照資料治理的階段及資料用途將資料進行清晰的歸類分層,比如歸類為ODS接入層、DW中間層、ADS應用層等。如此一來,資料運營人員就可以在業務方提出資料使用需求時,快速地對應到具體的資料層進行查數和提數,從而為資料應用提效。
Step3:資料治理組織建設
資料治理組織建設中,企業需要綜合考量資料規模、資料治理難度、業務複雜性等因素,建設一個規模合適,同時能深刻理解業務需求的資料治理組織。
對於大多數初創企業來講,至少要設定 資料治理負責人、資料分析師、資料管家、系統管家這四個基本角色,以保證資料治理整個鏈路中的要求和目標能夠得到落地實施。同時,這四個角色要分工明確,有成熟的協同機制,確保組織架構體系能夠有效運轉。
而對於大型企業而言,則要更多地關注資料和資訊的體系化管理,注重激勵制度的完善以及內部多個部門之間的高效安全協同。其中, 問題上升通道和戰略執行通道的暢通非常關鍵。問題上升通道,指的是要將業務部門在使用資料過程中遇到的資料問題及時反饋給資料管家和治理團隊,以驅動資料治理方案不斷迭代,使得資料質量不斷提升;戰略執行通道則是指企業要從業務全域性和戰略層面出發來推動資料質量問題的解決,減少跨部門、跨系統之間協作的阻力,從而使資料治理的過程更加高效。
Step4:資料治理方案設計
企業在設計資料治理方案時,要著重關注資料管理體系和資料價值體系這兩個方面。
資料管理體系主要是為資料賦予業務含義,對資料資產質量進行科學衡量,並在保障資料安全的前提下, 實現資料全生命週期的自動化管理,包括自動進行上線、ETL和下線等。在快時尚行業,服裝款式更新迭代快,相應的,服裝類商品資料的生命週期也就較短。這就需要快時尚企業對商品資料進行有效管理,及時進行商品資料的更新和再次治理。
資料價值體系則是從多維度量化企業的資料資產價值,為企業開展資料資產的運營和決策提供依據和支撐。資料價值體系包括 資料流通、資料服務、資料洞察等三個模組,指的是能夠把資料價值流轉出去,敏捷響應業務的複雜性需求,為業務分析和洞察提供有效的參考。企業需要持續改進和迭代資料治理的流程,以構建資料資產價值創造閉環,真正盤活資料資產。
Step5:資料治理落地實施
最後一步,就是落地實施。企業根據資料治理方案,依次完成 統籌規劃、標準落地、資料註冊、資料整合、資料勘探、監控評價等資料治理環節。需要強調的是,企業進行資料治理的過程非常複雜,僅靠人力是遠遠不夠的,自動化的實施工具同樣重要。
如何進行資料治理工具的選型呢?個推建議從以下三個方面來考量: 1.技術功能,即產品功能要全面,能夠滿足實施過程中的全部需要。 2.可複用性,指的是產品的功能要能夠通用、複用到多種業務場景。 3.售後完善,由於資料治理的複雜性,單純的產品並不足以滿足企業的需求,詳細的使用培訓以及專業的資料治理諮詢服務同樣重要。
這裡要著重介紹下 個推的資料中臺產品—— 每日治數平臺。
每日治數平臺沉澱了個推多年的資料治理經驗,產品功能齊全,提供從資料接入層到資料應用層整個鏈路的資料治理服務。平臺實現了資料治理全流程的視覺化操作,業務人員也可以使用它便捷地開發和使用資料。每日治數平臺已經服務於品牌營銷、智慧交通、智慧城市等多個行業,能夠滿足不同企業開展資料治理的多樣化、複雜性需求。同時個推還提供專業的數倉規劃和資料建模服務,幫助企業構建資料資產中心,把資料對業務的切實價值真正挖掘出來。
總結
總的來說,資料治理是一項 系統性、長期性的大工程。企業也需要在具體的資料治理實踐中,密切關注業務發展和動向,及時迭代和最佳化資料治理策略,才能把資料治理好,將資料的價值釋放出來。
後續,個推還將繼續分享資料中臺、資料治理、資料探勘、演算法建模等方面的乾貨內容,個推TechDay線上直播也將持續進行,請大家繼續保持關注。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31556026/viewspace-2788597/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 滿成見:獵聘網資料治理實踐全流程經驗分享
- “踩坑”經驗分享:Swift語言落地實踐Swift
- 分享 15 個 Vue3 全家桶開發的避坑經驗Vue
- ElasticSearch這些坑記得避開Elasticsearch
- 以場景驅動CMDB資料治理經驗分享
- 零基礎學習Java,這些書一定要看!Java
- 企業安全實踐經驗分享
- 大資料學習書籍 這幾本書一定要看大資料
- 分享一些 Kafka 消費資料的小經驗Kafka
- Scrum與OKR融合實踐經驗分享ScrumOKR
- 資料分析的4個目的3個意義,新手小白一定要看!
- 美團配送資料治理實踐
- 好書推薦《資料血緣分析原理與實踐 》:資料治理神兵利器
- 資料偏移、分割槽陷阱……我們這樣避開DynamoDB的5個坑
- MongoDB 最佳實踐和場景避坑指南MongoDB
- 如何選擇一家靠譜的軟體測試公司?這些坑你一定要避開!
- 嫌Excel VBA執行速度慢,這些建議你一定要看Excel
- 資料治理之後設資料管理實踐
- 父親節 | 這份資料一定要看,致這世上最愛我們的男人
- 校園創業指南——這些“坑”要及時避開,這些準備要做好!創業
- 從阿波羅登月看資料治理成功的六個經驗
- 新手做自媒體,為什麼收益很低?一定要避開這些坑 自媒體發燒友
- 騰訊資料治理技術實踐
- 中通快遞資料治理實踐
- 資料庫治理的探索與實踐資料庫
- 選擇適合自己的聚合路由器,這些點一定要看準路由器
- ZooKeeper 避坑實踐:如何調優 jute.maxbuffer
- 做資料治理前,必須瞭解並避開的十大坑
- 8 年產品經驗,我總結了這些持續高效研發實踐經驗 · 研發篇
- .NET 微服務——CI/CD(4):避坑和一點經驗微服務
- 美創科技四個行業資料安全治理實踐案例行業
- 資料治理:管理資料資產的最佳實踐框架框架
- 轉轉業務資料校驗平臺實踐分享
- ? 沒 2 年 React Native 開發經驗,你都遇不到這些坑React Native
- Iceberg 資料治理及查詢加速實踐
- 輕量&聚焦:精益資料治理實踐——以客戶資料治理為例
- 【實用!】聊聊React元件狀態設計,一定能幫你避坑~React元件
- 經驗分享|原來這些圖靈獎巨匠就藏在身邊圖靈