用斷路器馴服資料質量

• 資料管道基礎現實
• 資料管道的斷路器模式
• 在生產中實施斷路器

資料管道基礎現實
資料管道是一種邏輯抽象，表示將原始資料轉換為觀察分析所需的一系列資料轉換。在我們的資料平臺中，我們每天都有數千條資料管道執行。每個管道都從不同來源提取資料，並應用一系列ETL和分析查詢，以報告，儀表板，ML模型，輸出表的形式生成見解。這些見解既用於資料驅動的業務操作，也用於 - 產品客戶體驗。

我們在100多個關聯式資料庫以及NoSQL儲存中收集了4種型別的資料：

• 使用者輸入資料（UED）：客戶在使用產品時輸入的資料
• 行為分析資料：捕獲產品使用情況的點選流資料
• 企業資料：用於客戶服務，計費等的後臺系統
• 第三方資料：包括社交Feed，貸方檔案，銀行資料等

資料管道的斷路器模式
電路斷路器以主動管理電湧，否則電湧會過載並引起房屋著火。透過權衡電力供應，斷路器可以防止潛在的火災。斷路器模式在微服務架構中也很流行 - 而不是讓API等待緩慢或飽和的微服務，斷路器主動跳過呼叫服務。最終結果是可預測的API響應時間，以及某些服務可能無法獲得的權衡。解決微服務問題後，斷路器關閉，服務可用。
資料管道的斷路器遵循類似的模式。主動分析資料的質量 - 如果它低於閾值，而不是讓管道工作繼續並混合高質量資料和低質量資料，這時開啟斷路器，阻止低質量資料到達下游處理。因此，如果資料質量低，則會丟失，對於資料工程師，分析師，資料科學家和其他有見解的消費者而言，這是一個易於理解的約定。
它取代了根據具體情況手動驗證結果的需要，在湖中攝取的資料在每小時或每日批次持續存放在一個集結區；分析每批次的資料質量 - 當檢測到問題時，斷路器開啟，防止此批次資料到達下游處理，斷路開啟時，會提醒團隊診斷問題，如果可以解決問題，則回填該批次並使其可用於下游處理。

在資料流水線斷路器模式中，有兩種狀態：

• 斷路器關閉：資料正在流經管道。
• 斷路器開放：資料不流動，即發現問題，因此下游資料不可用

在資料平臺中實現斷路器
實施斷路器需要實現3個核心功能：

• 跟蹤資料沿襲：查詢從源表到輸出表，報告，ML模型的轉換中涉及的所有表和作業。
• 配置檔案資料管道：跟蹤與資料管道關聯的事件，統計資訊和異常。分析分為操作和資料級別，如稍後所述。
• 控制斷路器：根據分析發現的問題觸發斷路器

• 操作效能分析：重點是工作健康和資料結構健康。作業健康涉及跟蹤執行相關的統計資料，如完成時間，開始時間等.Data Fabric健康專注於跟蹤系統元件的事件和統計資料，即源資料庫，攝取工具，排程框架，分析引擎，服務資料庫，釋出框架（如如Tableau，QlikView，SageMaker等）
• 資料分析：本文的重點是分析資料相關模式。