大資料治理包括哪幾個方面
在資料治理中,涉及到了前端業務系統,後端業務資料庫系統再到業務終端的資料分析,從源頭到終端再回到源頭,形成的一個閉環負反饋系統。同樣地,在資料治理中,我們也需要一套標準化的規範來指導資料的採集、傳輸、儲存以及應用。
資料治理包括資料規劃、資料採集、資料儲存管理、資料應用四個方面。根據每一個方面的特點,我們可以將資料治理總結為四個字,即“理”、“採”、“存”、“用”。
01理:梳理業務流程,規劃資料資源
對於企業來說,每天的實時資料都會超過TB級別,需要採集使用者的哪些資料,這麼多的資料放在哪裡,如何放,以什麼樣的方式放?這些問題都是需要事先進行規劃的,需要有一套從無序變為有序的流程,這個過程需要跨部門的協作,包括了前端、後端、資料工程師、資料分析師、專案經理等角色的參與。
02採:ETL採集、去重、脫敏、轉換、關聯、去除異常值
前後端將採集到的資料給到資料部門,資料部門通過ETL工具將資料從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程,目的是將散落和零亂的資料集中儲存起來。
03存:大資料高效能儲存及管理
這麼多的業務資料存在哪裡?這需要有一高效能的大資料儲存系統,在這套系統裡面將資料進行分門別類放到其對應的庫裡面,為後續的管理及使用提供最大的便利。
04用:即時查詢、報表監控、智慧分析、模型預測
資料治理的最終目的就是輔助業務進行決策,前面的三個方面都是為最終的查詢、分析、監控做鋪墊。這個階段就是資料分析師的主場,分析師們運用這些標準化的資料可以進行即時的查詢、指標體系和報表體系的建立、業務問題的分析,甚至是模型的預測。
大資料治理包括哪幾個方面.中琛魔方大資料平臺表示資料治理是指將零散的使用者資料通過採集、傳輸、儲存等一系列標準化的流程變成格式規範、結構統一的資料,並有嚴格和規範的綜合資料管控;對這些標準化的資料進行進一步加工分析成為具有指導意義的業務監控報表、業務監控模型以幫助業務進行輔助決策。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69936596/viewspace-2884505/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 大資料治理包括哪些大資料
- 大資料治理包括哪些內容大資料
- 什麼是網路安全?網路安全包括哪幾個方面?
- 大資料安全保護,需要考慮哪幾方面?大資料
- 大資料分析系統包括哪些方面大資料
- 大資料實現精準營銷策略有哪幾個方面?_光點科技大資料
- 資料治理包括哪些內容
- 大資料安全主要包括那幾點呢?大資料
- 雲端計算的特點包括哪幾方面?linux運維工程師入門Linux運維工程師
- 大資料對於企業的價值,主要體現在哪幾個方面?大資料
- 從哪幾個方面去選擇免費OA系統
- 智慧城市展廳建設需要注意哪幾個方面
- 大資料時代的資料治理!大資料
- 企業IT規劃|資料治理該歸哪個部門管?
- 開發直播帶貨系統,需要從哪幾個方面入手?
- 什麼是Web安全?Web安全主要分為哪幾個方面?Web
- 大資料VS大擁堵:大資料治理交通大資料
- 大資料技術包括哪些大資料
- 大資料治理——搭建大資料探索平臺大資料
- 大資料創業,資料哪裡來?需要跨過幾道坎?大資料創業
- 教育直播平臺開發需求方案從哪幾個方面入手
- JAVA面試題 執行緒的生命週期包括哪幾個階段?Java面試題執行緒
- python中程式控制結構包括哪幾種Python
- 大資料分析包括哪些內容大資料
- 從技術方面來說,資料治理怎麼進行?
- 從技術方面來看:資料治理怎樣進行?
- 快速構建物聯網的應用雲,需要分為哪幾個方面?
- 大資料以及大資料技術都包括哪些內容大資料
- 建設智慧城市,需要從哪幾方面考慮?
- 大資料開發好還是大資料分析好?哪個薪資高?大資料
- 哪個品牌的雲資料庫比較好?重點關注這三個方面資料庫
- 關於大資料的幾個小故事大資料
- 金融資料分析系統主要作用於哪4個方面
- SQL按照功能分為哪幾類?具體包括什麼?SQL
- 資料治理三大模式詳解,治理新正規化釋放資料潛能模式
- 雲資料庫伺服器哪個好?考察這三方面!資料庫伺服器
- 運維行業有什麼特點呢?應該重視哪幾個方面?運維行業
- Redis有哪幾種資料淘汰策略?Redis