深入工作流排程的核心

海豚调度發表於2024-09-27

在大資料時代，工作流任務排程系統成為了資料處理和業務流程管理的核心元件，在大資料平臺的構建和開發過程中尤為重要。隨著資料量的激增和業務需求的多樣化，合理的任務排程不僅能夠提高資源利用率，還能保證業務流程的穩定和高效執行。本文將結合實際場景，探討目前市面上常見的工作流任務排程及其關鍵特性。

一、工作流任務排程的定義

工作流任務排程是什麼？簡單來說，它是指在特定的時間點或條件下，根據預設的規則和依賴關係，自動觸發並執行一系列任務的過程。它通常涉及多個任務之間的依賴關係，需要確保這些任務按照正確的順序和時機執行。

工作流排程主要涉及兩個關鍵概念：作業計劃（Job Plan）和任務例項（Task Instance）。
作業計劃是指預定的任務執行策略，包括何時執行、依賴關係以及執行條件等。而任務例項則是指在具體時間點上執行的任務。在工作流排程中，任務例項的生成通常基於作業計劃，透過對作業的依賴關係進行解析，確保作業按照預期順序和時間執行。

二、常見的工作流任務排程系統

市面上常見的工作流排程可以分為兩個大類：定時分片類作業排程系統和DAG工作流類作業排程系統。

1. 定時分片類排程系統

這種排程系統通常用於定時任務的分片執行。其代表系統如TBSchedule、SchedulerX和Elastic-job等。主要特性包括：

任務分片：將大任務拆分為多個小任務，分配到不同的伺服器上併發執行。這不僅提高了處理效率，也能實現負載均衡。
精確定時：要求任務在指定時間點精確觸發，以確保業務流程的及時性。例如，定時清理日誌檔案、定時生成報表等。

在工作流任務排程系統的架構設計中，負載均衡、彈性擴容、狀態同步和失效轉移是重點考慮的特性。由於支援分片邏輯和失效轉移，排程系統對任務通常有侵入性要求，使用者作業需要依賴客戶端庫函式，並實現介面以滿足服務端管理需求。為了確保精確定時觸發，大部分系統的觸發邏輯由執行節點本地處理，減少服務端負載，並提高觸發的精度與效率。部分系統如SchedulerX則採用服務端觸發邏輯，這要求服務端具備高可用性和良好效能，通常需要叢集方案以支援觸發佇列的維護。

2. DAG工作流類排程系統

DAG全稱Directed Acyclic Graph，簡稱DAG。工作流中的Task任務以有向無環圖的形式組裝起來，從入度為零的節點進行拓撲遍歷，直到無後繼節點為止。

file

這種系統主要關注任務之間的依賴關係，代表系統有Apache DolphinScheduler、Oozie、Azkaban和Zeus等。其核心特性包括：

依賴管理：支援複雜的任務依賴關係，確保任務在滿足前置條件時自動觸發。例如，資料清洗任務在資料採整合功後才能執行。
靈活的觸發機制：支援時間觸發、依賴觸發等多種方式，滿足不同業務場景的需求。

根據具體任務的執行方式，DAG工作流排程系統可分為兩種型別：靜態執行列表和動態執行列表。

總的來說，靜態執行列表透過提前計算生成任務執行例項，適合處理已知的、週期性任務變更，便於進行臨時修改和管理。

而動態執行列表則在任務執行時實時計算例項，更適應於複雜的依賴關係和臨時變更，但對計劃和例項間的同步管理要求較高。靜態方案架構簡單，適合任務依賴清晰的場景；動態方案覆蓋面廣，響應變更及時，但實現複雜。在實際應用中，兩者可結合使用，以解決各自的侷限性。

三、工作流任務排程的關鍵特性

1. 任務依賴管理

在實際應用中，任務之間往往存在複雜的依賴關係。有效的任務排程系統能夠動態管理這些依賴，確保任務按照預定順序執行，避免因依賴關係不正確導致的執行失敗。

2. 高可用性

高可用性是保證系統穩定執行的關鍵特性。排程系統需要具備故障自動恢復能力，確保在節點崩潰或網路故障時，任務能夠自動遷移並繼續執行。

3. 監控與報警

有效的監控機制能夠及時反饋任務的執行狀態。一旦出現故障或超時，系統應能夠及時發出警報，以便運維人員快速響應和處理。

4. 靈活的任務配置

使用者在定義工作流時，需提供靈活的任務配置選項，包括任務的執行頻率、執行條件和執行引數等。便捷的配置方式可以降低使用者的操作成本，提高工作效率。

四、工作流任務排程的應用場景

資料處理：在資料採集、清洗和分析過程中，任務排程系統可以確保各個環節有序進行，確保資料的準確性和及時性。
報告生成：定期生成報表的任務可以透過排程系統自動化執行，減少人工干預，提高效率。
監控與維護：定時檢查系統狀態、清理無用資料等維護任務也可透過排程系統來實現。

在實際應用中，定時分片類排程系統適合執行簡單的、週期性任務，例如定時資料備份、報告生成等。這些任務通常具有明確的執行時間和較低的複雜性。

相對而言，DAG工作流類排程系統則更適合處理複雜的資料流水線。 例如，在大資料分析平臺中，從資料採集到最終報告生成，往往需要多個作業相互依賴執行。這類系統能夠靈活應對任務變更和排程策略調整，提高資料處理的效率和可靠性。

五、常見的工作流排程工具

市場上有多種開源和商業化的工作流排程工具，每種工具都有其獨特的優勢和適用場景。以下是一些常見的工作流排程系統：

Apache DolphinScheduler：專注於提供靈活的任務排程和管理，支援複雜的任務依賴關係，能夠高效處理大規模資料處理工作流。DolphinScheduler的視覺化介面和豐富的外掛機制，使得使用者可以方便地定義、排程和監控工作流。此外，DolphinScheduler的分散式架構保證了高可用性和擴充套件性，適合企業在多種場景下的應用，如資料ETL、報表生成和定期任務排程等。
Apache Oozie：基於Hadoop的工作流排程系統，支援複雜的依賴關係和多種作業型別（如MapReduce、Pig、Hive等）。Oozie使用XML定義工作流，適合需要處理大規模資料的環境。

Azkaban：由LinkedIn開發，專注於簡化複雜工作流的管理。Azkaban使用.job檔案描述作業的依賴關係，提供了使用者友好的Web介面。
Chronos：一個分散式的任務排程器，支援Cron語法的定時任務和依賴關係。Chronos更適合對實時性要求較高的任務排程。
Airflow：由Airbnb開發，強調動態工作流的定義和視覺化管理，支援Python作為定義語言，適合需要靈活排程的場景。

六、技術選型怎麼做？

市面上的作業排程系統這麼多，那麼在對工作流任務排程系統進行技術選型時，企業主要需要考慮到哪些因素呢？

透過對眾多企業在進行作業排程系統選型的觀察，我們瞭解到企業一般會比較在意排程系統的以下問題：

可擴充套件性：系統能否隨著資料量和任務複雜度的增加而水平擴充套件。
可靠性：系統的容錯能力和高可用性，確保任務執行的穩定性。
效能：任務排程和執行的效率，包括延遲和吞吐量。
易用性：使用者介面友好程度、配置和管理的便利性。
整合能力：與現有系統和工具（如資料來源、訊息佇列等）的相容性和整合能力。
監控與告警：是否提供實時監控、日誌記錄和告警機制，便於運維管理。
社群與支援：是否有活躍的社群和專業支援，確保問題能夠及時解決。
安全性：資料加密、使用者許可權管理等安全措施的有效性。
成本：總體擁有成本，包括軟體許可、基礎設施和維護費用。
靈活性：支援多種排程策略、工作流定義和任務型別的能力。

以上這些方面做得比較好的話，企業在進行技術選型時基本上就不會有什麼懸念。當然，除了以上因素，企業還應該結合自己的具體應用場景，選擇適合自己的排程產品。

這裡是目前市面上主流的排程系統優劣勢對比圖：