常見的資料整合有哪些方法?有哪些分類?

下秒資料Nexadata發表於2022-07-13

常見的資料整合有哪些方法?有哪些分類?

由於企業為了提高其資訊化管理水平,會選擇使用許多系統來管理公司,比如ERP,CRM、PDM,CSM等等。但是企業的許多資料會分別在不同的系統中獨立存在,造成維護資料變得異常困難和 的現象,所以需要各個系統進行整合整合。

常見的資料整合方法有許多種,但是資料整合上分為了實時的與非實時的。非實時的系統會比較容易實現,但是不能實時實現各系統的無縫整合。而實時的系統資料整合就可以採用資料庫層的直接整合或者通過面向服務架構來實現,

常見的資料整合方法是實時的,在資料來源層負責資料的加工處理,然後將整合後的資料以標準的介面釋出到中介軟體層,由中介軟體層負責資料的訪問。呼叫資料服務,直接從臨時表中取出加工後的資料。

ETL一般由三個階段組成:

1.從多個來源提取資料並將其移至待定區。

2.經過一系列轉換,包括資料標準化和清理(將資料值對映為相應標準格式),然後將資料重組為適合載入到目標資料倉儲的格式。

3.轉換的資料載入到分析資料倉儲環境中。

資料整合ETL的另外一種框架-ELT

最初的創新轉變是重新考慮傳統操作順序。一些環境下,不是ETL的提取、轉換和載入,而是選擇提取資料,將其載入到目標環境中,然後再進行轉換。這種稱為“ELT”(提取、載入、轉換)的方法不僅消除了所需的中間轉換平臺,而且可在資料倉儲環境下同時檢視所有采集的資料集,提高轉換一致性。此外,ELT方法可以收集轉換實時資料來源的資料,同時支援傳統的生成資料提取。

現代資料整合

與傳統ETL方法相比,目前科技資料整合形成一套完整的方法,包括資料訪問、獲取和移動,即資料從一個位置轉移到另一個位置。現代資料整合方法增加了其他流程,用以瞭解原始資料物件如何引入環境,如何在企業內部移動,不同使用者如何使用資訊,在此過程中對資料如何轉換,以及如何保證不同業務部門資料理解的一致性。從本質上看,資料整合產品應能夠定製資料系統解決方案,將資料從生成者傳送給使用者。

下秒資料Nexadata與ELT

Nexadata採用ELT+A(Active)的模式,來提升企業利用資料價值的效率。當前這一領域在國內剛剛興起,從ETL到ELT的改變主要得益於雲的普及,讓儲存成本下降,從而使得傳統ETL這種將資料處理分段,只儲存重要結果性資料的方式得以被改變。這也就是EL過程的由來——這種方式可以將抽取的各類資料先按自由的方式儲存,也就是將各型別的資料不經過提前處理先灌進"資料湖"中,後續再根據自己的需求進行建模,也就是Transform。

這對於小公司來說是十分有利的,通過聯結器將資料自動載入到資料(倉)庫後,支援低程式碼、自動化資料處理管道方式進行資料建模且甲方IT和資料分析師可深度參與,加速資料洞察的同時快速響應變化,可快速地建立起ETL過程,提高效率,降低實施難度,有著更友好易用的資料處理體驗。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70019413/viewspace-2905650/,如需轉載,請註明出處,否則將追究法律責任。

相關文章