大資料治理包括哪些內容

大資料小知識發表於2022-04-01

  在資料治理中,涉及到了前端業務系統,後端業務資料庫系統再到業務終端的資料分析,從源頭到終端再回到源頭,形成的一個閉環負反饋系統。同樣地,在資料治理中,我們也需要一套標準化的規範來指導資料的採集、傳輸、儲存以及應用。

  資料治理包括資料規劃、資料採集、資料儲存管理、資料應用四個方面。根據每一個方面的特點,我們可以將資料治理總結為四個字,即“理”、“採”、“存”、“用”。

  01理:梳理業務流程,規劃資料資源

  對於企業來說,每天的實時資料都會超過TB級別,需要採集使用者的哪些資料,這麼多的資料放在哪裡,如何放,以什麼樣的方式放?這些問題都是需要事先進行規劃的,需要有一套從無序變為有序的流程,這個過程需要跨部門的協作,包括了前端、後端、資料工程師、資料分析師、專案經理等角色的參與。

  02採:ETL採集、去重、脫敏、轉換、關聯、去除異常值

  前後端將採集到的資料給到資料部門,資料部門通過ETL工具將資料從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程,目的是將散落和零亂的資料集中儲存起來。

  03存:大資料高效能儲存及管理

  這麼多的業務資料存在哪裡?這需要有一高效能的大資料儲存系統,在這套系統裡面將資料進行分門別類放到其對應的庫裡面,為後續的管理及使用提供最大的便利。

  04用:即時查詢、報表監控、智慧分析、模型預測

  資料治理的最終目的就是輔助業務進行決策,前面的三個方面都是為最終的查詢、分析、監控做鋪墊。這個階段就是資料分析師的主場,分析師們運用這些標準化的資料可以進行即時的查詢、指標體系和報表體系的建立、業務問題的分析,甚至是模型的預測。

  大資料治理包括哪些內容.中琛魔方大資料平臺表示資料治理是指將零散的使用者資料通過採集、傳輸、儲存等一系列標準化的流程變成格式規範、結構統一的資料,並有嚴格和規範的綜合資料管控;對這些標準化的資料進行進一步加工分析成為具有指導意義的業務監控報表、業務監控模型以幫助業務進行輔助決策。

  


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69936596/viewspace-2885355/,如需轉載,請註明出處,否則將追究法律責任。

相關文章