企業資料整合是什麼呢?

聽你說資料發表於2022-07-13

企業資料整合是將不同來源的資料整合在一個資料庫中的過程,即異構資料之間的同步。將不同種類,不同版本的資料庫、檔案、Mail等之間進行同步。由於不同的資料來源定義屬性時命名規則不同,存入的資料格式、取值方式、單位都會有不同。因此即便兩個值代表的業務意義相同,也不代表存在資料庫中的值就是相同的。因此需要資料入庫前進行整合,去冗餘,保證資料質量。資料整合可以認為是ETL(BI上的定義為:抽取——轉換——清洗——過濾——載入);但更強調自動化過程管理。

在實現機制上,應包括常見的整合模式:Split/Merge/Route/PS等;另外還應該具備建模(後設資料管理)和治理(Governace)功能。

資料整合有什麼意義呢?

資料整合意義主要是實現資料中心,例如企業級SID;或者遺留系統在資料層面的整合。在建立全域性SID的基礎上,可以構建很多有意義的東西:例 如Portal/CMS,報表,資料搜尋,挖掘等等,這些可以概括地稱為BI,即商業智慧。

因此,資料整合有 兩個層面的意義

1)操作層面

2)分析層面

資料整合的實現步驟:

1.界定資料互動的項別與內容,如:PDM系統和ERP系統之間的BOM資料;

2.指定資料互動週期,一天一次,還是一週一次;

3.選擇互動方式,通過資料庫,還是中介軟體技術來互動;

4.由ODS資料互動排程程式實現資料上載或是由外圍系統自行實現資料下載,從而實現資料的整合。

資料整合會出現的問題:

1.資料重複

檢查資料重複一般需要通過主要關鍵詞,最好對主要關鍵詞進行優化,過濾重複資料。在資料結構儘量調研每個欄位的含義,拆分或整合。重複資料入庫,不僅會給日後的資料關聯造成極大的影響,也會影響資料分析與挖掘的效果,應儘量避免。

2.資料衝突

資料衝突就是兩個資料來源中同樣的資料,但是取值記錄的不一樣。造成這種情況除了有人工誤入,還有可能是因為貨幣計量的方法不同,匯率不同,稅收水平不同、評分體系不同等等原因。

對待資料衝突問題,就需要對實際的業務知識有一定的理解。同時,對資料進行調研,儘量明確造成衝突的原因。如果資料的衝突實在無法避免,就要考慮衝突資料是否都要保留、是否要進行取捨,如何取捨等。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70017946/viewspace-2905572/,如需轉載,請註明出處,否則將追究法律責任。

相關文章