從傳統到雲的趨勢看ETL的狀態

每個企業裡的每個部門、每個團隊都擁有潛在的高價值資料寶庫，但很可惜其中的73%未被使用到，因為缺乏相應的資料整合工具，所以ETL是解決這個問題的很好辦法。然而，最初的ETL流程是為十年前的業務需求而構建的，現在的時代已經變了。

 

當今的企業擁有的資料來源數量正在以非常高的速度增長著，有研究表明，現代企業可以在其的環境中擁有多達400個企業應用程式，以及產生大量資料的社交媒體平臺和移動技術。為了整合這一切，管理資料的領導者需要以新的方法來整合這些歷史資料，以利用這些資料來進行戰略業務規劃。

 

過去的ETL

在過去，少數資料來源的ETL流程可以由簡單的工具處理完成。然而，隨著資料量和的增加，系統和流程出現故障的概率也在不斷增加，因為傳統的ETL工具帶有一連串的缺點。

 

對於初學者來說，許多ETL功能歷來都是手動編碼的，這是一個漫長且複雜的過程，手工編碼的過程非常具有挑戰性：一個開發人員難以學習另一個開發人員的程式碼，導致許多開發人員必須從頭開始重寫程式碼，增加了操作的時間和費用。更糟糕的是，每當團隊成員離開或程式碼（或配置）未記錄在案時，公司就會面臨很大的風險。就日常運營和對業務使用者的影響而言，本地ETL系統在為企業做出明智決策所需的洞察力方面一直很慢。

 

這些系統通常用於批處理，通常會迫使企業在非工作時間（例如夜間）裡使用計算資源來執行ETL進行作業，最終會導致更高的成本、功耗、硬體和人員開銷，以及更高的停機或服務中斷的風險。

 

現代基於雲的ETL

傳統的ETL流程特徵是批量提取資料，在暫存區對其進行轉換，然後將其載入到資料倉儲或其他地方，但是該模型不符合現代業務需求。

 

在當今的業務環境中，資料提取必須實時工作，併為使用者提供自助服務功能，以便隨時執行查詢並檢視當前情況。而且，隨著公司越來越多地將更多的應用程式和工作負載遷移到雲端了，他們將面臨成倍增長的資料集以及來自眾多渠道的資料來源，所以ETL工具必須可以毫不費力地處理這些大量的資料。

 

現代ETL工具應該能夠在任何雲產品上執行良好，並且應該能夠隨著公司更換雲的提供商而輕鬆遷移，還必須具有良好的容錯性、安全性、可擴充套件性和端到端的準確性，尤其是在為新的機器學習 (ML) 或人工智慧 (AI) 模型提供關鍵資訊時，可以做出準確且更具前瞻性的判斷。

 

比較表

現在是實現ETL現代化的時候了

關於雲ETL的工具挺多的，這裡重點介紹一個Smartbi智分析的雲ETL工具，功能非常強大，處理過程非常智慧，通過滑鼠簡單的拖拽便可以進行復雜的ETL程式。最具有價值的地方是它的雲屬性，只要有網路便可以隨時隨地進行工作，不受限於時間與空間。