企業資料整合是什麼呢?
企業資料整合是將不同來源的資料整合在一個資料庫中的過程,即異構資料之間的同步。將不同種類,不同版本的資料庫、檔案、Mail等之間進行同步。由於不同的資料來源定義屬性時命名規則不同,存入的資料格式、取值方式、單位都會有不同。因此即便兩個值代表的業務意義相同,也不代表存在資料庫中的值就是相同的。因此需要資料入庫前進行整合,去冗餘,保證資料質量。資料整合可以認為是ETL(BI上的定義為:抽取——轉換——清洗——過濾——載入);但更強調自動化過程管理。
在實現機制上,應包括常見的整合模式:Split/Merge/Route/PS等;另外還應該具備建模(後設資料管理)和治理(Governace)功能。
資料整合有什麼意義呢?
資料整合意義主要是實現資料中心,例如企業級SID;或者遺留系統在資料層面的整合。在建立全域性SID的基礎上,可以構建很多有意義的東西:例 如Portal/CMS,報表,資料搜尋,挖掘等等,這些可以概括地稱為BI,即商業智慧。
因此,資料整合有 兩個層面的意義 :
1)操作層面
2)分析層面
資料整合的實現步驟:
1.界定資料互動的項別與內容,如:PDM系統和ERP系統之間的BOM資料;
2.指定資料互動週期,一天一次,還是一週一次;
3.選擇互動方式,通過資料庫,還是中介軟體技術來互動;
4.由ODS資料互動排程程式實現資料上載或是由外圍系統自行實現資料下載,從而實現資料的整合。
資料整合會出現的問題:
1.資料重複
檢查資料重複一般需要通過主要關鍵詞,最好對主要關鍵詞進行優化,過濾重複資料。在資料結構儘量調研每個欄位的含義,拆分或整合。重複資料入庫,不僅會給日後的資料關聯造成極大的影響,也會影響資料分析與挖掘的效果,應儘量避免。
2.資料衝突
資料衝突就是兩個資料來源中同樣的資料,但是取值記錄的不一樣。造成這種情況除了有人工誤入,還有可能是因為貨幣計量的方法不同,匯率不同,稅收水平不同、評分體系不同等等原因。
對待資料衝突問題,就需要對實際的業務知識有一定的理解。同時,對資料進行調研,儘量明確造成衝突的原因。如果資料的衝突實在無法避免,就要考慮衝突資料是否都要保留、是否要進行取捨,如何取捨等。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70017946/viewspace-2905572/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 企業為什麼要做資料整合?
- 到底什麼是企業簽名呢?
- 為什麼企業資料整合很重要
- 什麼是行為資料?企業為什麼要使用它?
- 蘋果企業簽名到底是什麼意思呢?蘋果
- 什麼是資料分析,資料分析能為企業帶來什麼?_光點科技
- 為什麼說企業雲盤是企業儲存資料的標配
- 企業如何資料整合?資料整合解決方案
- 資料分析對於企業的重要性是什麼?
- CDN是什麼呢
- 企業上雲是什麼意思?企業上雲的好處是什麼?
- SIEM是什麼?企業安全
- 什麼是 SCRM,企業為什麼需要SCRM?
- 企業簽名的價格是多少?企業簽名收費標準是什麼樣的呢?
- CDGA|企業資料治理的關鍵能力是什麼?如何發力?
- ui設計是什麼工資待遇呢?UI
- 企業管理的核心是什麼?
- 什麼是資料視覺化?hightopo資料視覺化助力企業數字化視覺化
- 企業為什麼要做資料治理,資料治理對於企業的必要性
- 企業為什麼選擇伺服器呢?有什麼優勢嗎?伺服器
- 企業為什麼要建資料倉儲?
- 什麼是大資料?大資料能做什麼?大資料
- 【MySQL】究竟什麼是MVCC呢?MySqlMVC
- 這是什麼東西呢?
- CN2是什麼呢
- 代理埠是什麼意思呢?
- Java到底是什麼呢Java
- JVM ZeroTLAB 是什麼意思呢?JVM
- 蘋果企業賬號是什麼?蘋果
- 什麼是ERP企業管理軟體
- 什麼是企業架構師? (tpierrain)架構AI
- 什麼是雲原生?企業為什麼需要雲原生?
- 大資料ELK有什麼優勢呢?大資料
- 什麼是大資料?大資料開發是做什麼的?大資料
- 什麼是資料運營?資料運營是做什麼的?
- 為什麼說雲主資料管理(MDM)是企業IT下一個“爆點”?
- 那麼弱口令是什麼意思呢?
- 資料探勘工具對企業有什麼價值