大資料治理包括哪些內容
在資料治理中,涉及到了前端業務系統,後端業務資料庫系統再到業務終端的資料分析,從源頭到終端再回到源頭,形成的一個閉環負反饋系統。同樣地,在資料治理中,我們也需要一套標準化的規範來指導資料的採集、傳輸、儲存以及應用。
資料治理包括資料規劃、資料採集、資料儲存管理、資料應用四個方面。根據每一個方面的特點,我們可以將資料治理總結為四個字,即“理”、“採”、“存”、“用”。
01理:梳理業務流程,規劃資料資源
對於企業來說,每天的實時資料都會超過TB級別,需要採集使用者的哪些資料,這麼多的資料放在哪裡,如何放,以什麼樣的方式放?這些問題都是需要事先進行規劃的,需要有一套從無序變為有序的流程,這個過程需要跨部門的協作,包括了前端、後端、資料工程師、資料分析師、專案經理等角色的參與。
02採:ETL採集、去重、脫敏、轉換、關聯、去除異常值
前後端將採集到的資料給到資料部門,資料部門通過ETL工具將資料從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程,目的是將散落和零亂的資料集中儲存起來。
03存:大資料高效能儲存及管理
這麼多的業務資料存在哪裡?這需要有一高效能的大資料儲存系統,在這套系統裡面將資料進行分門別類放到其對應的庫裡面,為後續的管理及使用提供最大的便利。
04用:即時查詢、報表監控、智慧分析、模型預測
資料治理的最終目的就是輔助業務進行決策,前面的三個方面都是為最終的查詢、分析、監控做鋪墊。這個階段就是資料分析師的主場,分析師們運用這些標準化的資料可以進行即時的查詢、指標體系和報表體系的建立、業務問題的分析,甚至是模型的預測。
大資料治理包括哪些內容.中琛魔方大資料平臺表示資料治理是指將零散的使用者資料通過採集、傳輸、儲存等一系列標準化的流程變成格式規範、結構統一的資料,並有嚴格和規範的綜合資料管控;對這些標準化的資料進行進一步加工分析成為具有指導意義的業務監控報表、業務監控模型以幫助業務進行輔助決策。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69936596/viewspace-2885355/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料治理包括哪些內容
- 大資料分析包括哪些內容大資料
- 大資料治理包括哪些大資料
- 大資料以及大資料技術都包括哪些內容大資料
- 大資料治理包括哪幾個方面大資料
- 大資料技術包括哪些大資料
- 專案專案管理包括哪些內容專案管理
- CA數字證書包括哪些內容?
- 軟體效能測試包括哪些內容?
- 入門大資料,可以先自學哪些內容?大資料
- 網路安全審計主要包括哪些內容?
- 大資料治理會遇到哪些難題大資料
- 大資料分析系統包括哪些方面大資料
- 大資料處理流程包括哪些環節大資料
- 學習大資料需要什麼基礎?大資料要學哪些內容?大資料
- 資料治理:資料標準管理的內容和實踐!
- 資料治理:資料標準管理的內容和實踐
- 大資料治理平臺有哪些價值大資料
- 靜態程式碼安全檢測服務包括哪些內容?
- 內容型(業務側)資料產品治理最佳實踐
- 資料架構涉及到了哪些內容?架構
- 乾貨分享▏軟體效能測試包括哪些測試內容?
- 未來大資料的主要應用領域包括哪些大資料
- 資料治理注意哪些問題
- 資料治理制定哪些標準
- 大資料之亞秒級實時計算技術學哪些內容?大資料
- 軟體測試報告包括哪些內容?權威軟體測試公司有哪些?測試報告
- 系統學習大資料需要學習哪些內容,五年大資料工程師經驗分享大資料工程師
- 大資料時代的資料治理!大資料
- 餐飲行業私域運營怎麼做,方案包括哪些內容行業
- 檢視SQL Server資料庫修改了哪些內容SQLServer資料庫
- 資料治理的價值有哪些
- 大資料VS大擁堵:大資料治理交通大資料
- 資料分析工作包括哪些環節?
- 大資料治理——搭建大資料探索平臺大資料
- 聊聊開始資料治理前必須瞭解的四個內容
- 資料治理的重要性有哪些
- 資料安全治理面臨哪些挑戰