如何進行實時ELT解決方案選型？

當今世界一個企業的競爭優勢取決其創新能力以及能否適應快速變化的環境。要做到這一點，企業必須以實時思維來設計、開發和維護其資料基礎設施。

最重要的是，這意味著放棄點對點的整合和過時的批處理方法，這些方法缺乏必要的速度和靈活性來支援當今世界的競爭優勢。

實時提取、載入、轉換(ELT)軟體解決了整合難題中的一個關鍵缺失部分。雖然市場上有很多以工作流程為導向的SaaS整合工具，但幾乎沒有一個能實現從ERP等骨幹系統中提取大量交易資料並將其交付給雲分析平臺，且能立即投入使用。

變更資料捕獲(CDC)是這種大批次、實時整合的共同起點。CDC是快速有效的，因為它是由日誌活動驅動，而不是比較和同步大型資料集。不幸的是，只有少數ELT解決方案能夠滿足當今企業所需要的那種即時、大批次交易整合的所有要求。

在實時ELT解決方案中需要注意什麼?

透過對解決現代資料堆疊中的差距的關鍵特徵進行過濾，很容易識別正確的ELT工具。以下是你選型時應該問的問題：

• 它是否提供了廣泛的企業聯結器?圍繞現代資料堆疊的生態系統提供了一系列不同的工具來與SaaS應用程式整合，但對於企業資料儲存，如ERP、記錄系統或其他大型資料庫，可用的聯結器相對較少。一個真正的企業級ELT工具產品應該包括所有系統的預構建聯結器，包括OLTP、OLAP和雲平臺。這是一個核心要求，因為它首先消除了資料孤島。隨著企業的發展，廣泛的資料聯結器也有助於保護企業的未來，使你能夠靈活地採用一系列新的系統，而不必擔心互操作性問題。

• 它是否能保證防止資料丟失?尋找一個能提供內建資料一致性和資料驗證的ELT工具。當管道崩潰時，資料的完整性是否會因為錯過交易或重複而受到影響?或者，該解決方案是否能保證100%完整和準確地資料傳輸，並且沒有資料損失?詢問該工具是否有內建的檢查點和重啟能力，這樣你的企業就不會錯過一個交易。每一個變化都必須準確地從源頭傳遞到目標，並且完全準確。隨著公司開始越來越多地依賴人工智慧和機器學習，資料丟失的後果可能是災難性的。即使是少量的資料漂移也會侵蝕這些技術的準確性，導致負面的商業結果。

• 它是否降低了源應用程式的效能?一個好的ELT工具應該能夠在交易日誌的基礎上進行變更資料捕獲。它不應該依賴對源資料庫無休止地查詢來檢測變化。最好的ELT解決方案不會降低源系統的效能，也不會在讀取資料時給生產資料庫打上時間戳。CDC解決方案可以是基於日誌、基於時間戳或基於校驗的。基於日誌的CDC工作時不會對源系統產生不利影響，因為它只讀取事務性變化流和日誌。它是快速、可靠、安全和低影響的。

• 它是否可以實現流式管道的零維護?對於一些整合平臺，模式的變化可能導致需要停止資料流，並在管道的兩端手動重新配置模式。通常情況下，這需要一個工程師團隊隨時待命，監測變化並在管道損壞時進行修復。最好的ELT解決方案透過自動處理模式變化和演變，使維護資料管道變得容易。

• 它的安全性如何?資料在傳輸過程中必須加密，以保護個人身份資訊(PII)資料和其他敏感資訊。一個好的ELT解決方案將簡化這一過程，因此這些資料可以得到有效和高效地處理，完全符合監管準則。

• 它是否可以擴充套件?隨著一個組織的成長，它的資料整合要求也會隨之增加。如果你的ELT解決方案不能處理大量資料，你的整個資料基礎設施將被置於風險之中。一個強大的ELT解決方案應該提供內建的自動擴充套件和效能最佳化功能來適應資料增長。它應該能夠處理高容量、高速度和高變化的資料。在雲時代，企業必須能夠根據需求自動擴充套件和減少資源，ELT平臺也不例外。

考慮完以上問題後，有很多ELT解決方案會被pass掉。不過，這並不是說沒有一些好的ELT解決方案可供選擇。大多數至少有一兩個主要缺點，你需要做功課，以確定適合你的。

在ELT領域，有幾個非常好的競爭者，但相對來說，能夠處理大量交易資料並保證交付的雲原生CDC產品很少。由於ELT在現代資料堆疊中發揮著如此關鍵的作用，做足功課並深入瞭解細節是很重要的。

作者Rajkumar Sen是Arcion的創始人和首席架構師