資料治理的十二條技術原則

qing_yun發表於2024-03-15

企業開展資料治理過程,有哪些技術原則可供指導資料治理工作?本文給出了十二條技術原則建議,供大家參考。

原則一:視覺化管理企業資產

比如,透過使用儀表板展示企業的資料資產情況,包括資料來源、儲存位置、資料質量等,方便呢管理者快速瞭解和監控資料資產狀態。又比如,利用資料目錄工具視覺化展示不同資料集的結構和關係,幫助使用者理解和發現資料資源。

原則二:自動獲取資料資訊

利用自動化工具和流程,從各種來源獲取資料。比如,設立定時任務,自動從各個業務系統和資料庫中提取資料,並將其載入到資料倉儲或資料湖中。

原則三:大資料服務智慧化

將大資料服務(如儲存、處理、分析等)智慧化,以提高效率,支援更高階的資料治理需求。

原則四:資料管理能力服務化

將資料管理能力以服務的形式提供,使其更易於部署和維護。比如,提供資料質量管理平臺,讓使用者可以透過自助服務的方式進行資料質量評估、資料清洗等操作。

原則五:從需求開始控制資料質量

從需求開始,就要制定相應的資料質量控制策略和流程,確保資料符合預期的質量標準。比如,對業務部門提出需求開始,就要制定相應的資料質量標準和指標。

原則六:在整合點檢查資料質量

在資料整合的關鍵節點上檢查資料質量,及時發現和解決資料質量問題。

原則七:持續積累檢核規則

持續積累並更新資料質量檢核規則,以適應不斷變化的資料環境和需求。比如,在資料整合的關鍵節點(如ETL過程中)設定資料質量檢查點,對資料進行質量評估和驗證,及時發現和解決資料質量問題。

原則八:自動化質量評分

利用自動化工具和演算法,對資料質量進行評分和監控,及時發現和處理質量異常。比如,基於預先設定的資料質量規則和指標,自動對資料進行質量評分,並生成質量報告和警告資訊。甚至可以基於資料質量評分結果反饋,自動觸發資料質量改進流程,對資料進行修復等。

原則九:管理核心資料定義

管理好核心資料的定義,確保不同系統和業務部門對核心資料的理解、使用一致。

原則十:為資料標準新增技術屬性

為資料標準新增技術屬性,使其更容易實施和管理,並支援資料治理的自動化流程。

原則十一:識別與管理業務語義

識別和管理業務術語和語義,確保不同業務部門之間的資料交換和理解一致性。

原則十二:關聯業務語義與技術

將業務語義與技術實現相互關聯,確保業務需求和技術實現之間的有效對應和溝通。

來自 “ 半山裡人 ”, 原文作者:level;原文連結:https://mp.weixin.qq.com/s/XN0ZuMFUuCDrubZZRL2LXQ,如有侵權,請聯絡管理員刪除。

相關文章