什麼是反向ETL？

banq發表於2022-12-03

瞭解有關反向 ETL 的所有資訊、它如何適應現代資料堆疊以及它與 ETL 的不同之處。

在過去的六年裡，資料生態系統發生了巨大的變化，我們目睹了幾種不同技術的興衰。然而，有一個不變的東西保持不變：雲資料倉儲。

由於像Snowflake和谷歌BigQuery這樣的平臺，將你的所有資料整合到一個集中的平臺來解決你的分析用例是前所未有的簡單。問題是你的資料倉儲只有那些知道如何編寫SQL的技術使用者才能訪問，所以你為消除資料孤島而購買的平臺不可避免地成為了資料孤島。這正是反向ETL如此重要的原因。

什麼是逆向ETL？
當資料團隊說ETL時，他們通常指的是將資料從資料來源複製到資料倉儲
反向ETL則正好相反。

反向ETL是將資料從中央資料倉儲複製到運營工具的過程，包括但不限於用於增長、營銷、銷售和支援的SaaS工具。

在這一點上，你可能在想：

"我已經花了這麼多錢和時間把我的資料放入倉庫，作為我的單一真相來源，而現在你告訴我，我需要把我的資料從倉庫裡拿出來？"

你可能有幾個核心指標是你的業務所特有的，你的資料團隊已經透過你倉庫中的資料模型定義了這些指標。如果你是一個B2B企業，這可能包括像工作空間、流失率、線索得分、年度經常性收入等指標。如果你是一個B2C企業，這可能包括像日活躍使用者、客戶獲取成本、終身價值等指標。
反向ETL是指將倉庫中的資料同步到下游的業務工具。

ETL和逆向ETL之間有什麼區別？
傳統的ETL過程自20世紀70年代以來一直存在，資料管道基本上沒有改變。對於那些不熟悉的人來說，ETL是指提取、轉換。它是一個自動提取、轉換和載入資料到你想要的目的地（例如，資料倉儲或資料湖）的過程。

傳統的ETL是一個單向的門，你不能使用ETL管道從你的倉庫中讀出和寫入資料。反向ETL，顧名思義，實際上是 "反向 "的，意味著你必須寫反向SQL。

使用反向ETL，你要同步資料行，這意味著你必須擴散你的資料，並將當前倉庫查詢的值與你之前同步的資料進行比較；否則，你最終會花費大量的錢，浪費大量的時間。由於你要向下遊工具傳送資料，並與第三方API整合，你還必須關注速率限制和同步失敗的問題。

從表面上看，反向ETL只是對你的資料倉儲進行查詢。然而，大多數人不知道逆向ETL需要你寫逆向SQL，所以將資料從倉庫移出並回到你的作業系統和SaaS工具中可能是非常具有挑戰性的。

反向 ETL 與點對點解決方案
點對點工具或iPaaS（整合平臺即服務）Zapier、Tray 和 Workato 等技術可能是處理反向 ETL 用例的一個有吸引力的選擇，因為它們允許您無需程式碼即可將資料從一個平臺傳送到另一個平臺，但它們建立了一個複雜的管道網路'可擴充套件。如果您只有四個應用程式，您很快就會發現自己有 16 個潛在管道管道（例如，4x4 = 16）。

所有 iPaaS 工具的工作方式相似；他們根據您定義的觸發器執行操作。您必須為資料堆疊中的每個整合構建自定義工作流，當您編織各種依賴項和 if/then 子句時，這將成為一場噩夢。

反向 ETL 建立了一種中心輻射型方法，其中倉庫是您的中心資料來源，完全消除了傳統點對點解決方案附帶的複雜的管道和工作流網路。

反向 ETL 與 CDP
您可能熟悉客戶資料平臺（CDP.) Segment 等平臺透過建立一個單一平臺在營銷界聲名鵲起，您可以在該平臺上儲存所有客戶資料並在各種業務團隊和作業系統中啟用這些資料。

這些平臺的主要優點是它們提供內建的資料攝取、身份解析、受眾管理和資料共享。不過，CDP 有幾個缺陷：

  • 首先，您不擁有資料。CDP 迫使您將資料儲存在雲基礎架構之外，這可能會對 GDPR、CCPA 或 HIPAA 產生重大影響。CDP 不會取代您的資料倉儲。它只是根據您的資料倉儲建立第二個事實來源。
  • 其次，CDP 非常昂貴。在大多數情況下，定價基於您的客戶記錄總數，這意味著您根據數量付費。即使您的所有客戶資料都已經存在於您的倉庫中，您也不可避免地要為額外的儲存層付費。
  • CDP 非常嚴格。您經常會發現自己刪除了整個例項，以便重新配置設定或重新載入資料。最重要的是，大多數 CDP 強制您使用僅代表使用者和帳戶的專有資料模型。大多數公司都有獨特的物件，如工作區、訂閱、播放列表、每日活躍使用者等。
  • CDP 的轉換能力也有限，因此如果您需要清理超出其能力範圍的資料集，您通常不得不提交支援請求。藉助反向 ETL，您可以利用所有現有的轉換功能和現有的資料模型。
  • 實施 CDP 可能需要六個月以上的時間，更不用說培訓不同團隊如何使用 CDP 所花費的時間了。CDP 的核心是剛性黑盒，不易配置


反向 ETL 用例
儘管瞭解為什麼需要反向 ETL 相對容易，但要了解其中的含義並不總是那麼簡單，因為反向 ETL 的用例數量幾乎是無限的。

1、營銷團隊
弄清楚如何提高與廣告平臺的匹配率、最佳化廣告支出回報率 (ROAS) 並降低客戶獲取成本 (CAC) 非常重要。藉助反向 ETL，您可以將倉庫中構建的自定義受眾同步到任何營銷渠道以改善個性化（例如，定位在過去 7 天內放棄購物車的客戶。）

2、銷售團隊
您的銷售團隊想要並需要訪問您倉庫中的獨特行為和產品使用資料（例如，工作區、訂閱、購物車中的專案、頁面檢視、上次登入日期等）。使用反向 ETL，您可以將這些資料直接傳送到您的 CRM，以便您的銷售團隊可以實時採取行動來增加您的底線。

3、產品團隊
改進產品和推動採用的關鍵是試驗和最佳化。但是，要為您的客戶打造個性化體驗，您的產品團隊需要能夠回答以下問題：

  • 誰是我們最活躍的使用者？
  • 我們最受歡迎的功能/產品是什麼？
  • 我們怎樣才能提高轉化率？
  • 顧客什麼時候放棄他們的購物車？
  • 使用者在入職流程中在哪裡下車？

藉助反向 ETL，您可以將有關客戶的關鍵屬性直接同步到您的生產資料庫，以推動現場個性化。

4、支援團隊
優先處理正確的工單並減少客戶流失應該是每個客戶成功團隊的最終目標。假設您已經在資料倉儲中定義了生命週期價值、年度經常性收入或客戶流失率等關鍵指標。在這種情況下，您可以使用反向 ETL 將此資料直接同步到您的客戶支援工具，以便您的成功團隊可以優先考慮影響最大的工單。

5、資料團隊
您的工程團隊不想整天構建和維護自定義管道。他們寧願構建自定義資料模型並最佳化您當前的技術堆疊。藉助反向 ETL，您的資料團隊可以讓您的業務團隊實現自助服務並專注於業務成果。

相關文章