- **排程器**
**SchedulerNG：**
***介紹：***
是Flink從1.10版本開始引入的新的任務排程器，相比之前的排程器具有更高的效能和可擴充套件性。
***特性：***
1、負責將任務分配給可用的執行槽，並管理執行槽的生命週期。
2、根據任務的需求和執行槽的資源情況，動態地決定任務在哪個執行槽上執行，並實現任務和執行槽之間的匹配和排程。
3、採用了基於優先順序的任務排程演演算法，可以根據任務的優先順序和需求對任務進行排序和排程。
4、提供了資源管理、心跳檢測、故障恢復等功能，可以實現任務的高效執行和容錯能力。
5、具有更高的效能和可擴充套件性，可以支援數萬個執行槽和數百個任務的排程，同時保持較低的延遲和高吞吐量。

- **排程策略**
**SchedulingStrategy：**
***介紹：***
SchedulingStrategy主要用於定義任務排程的策略，即如何將任務分配給可用的執行槽。不同的SchedulingStrategy會採用不同的排程策略，以滿足不同的需求和場景。
***支援策略：***
EagerSchedulingStrategy：適用於流計算，同時排程所有的task
LazyFromSourcesSchedulingStrategy：適用於批處理，當輸入資料準備好時（上游處理完）進行vertices排程。
PipelinedRegionSchedulingStrategy：以流水線的區域性為粒度進行排程。

- **排程策略**
**ScheduleMode：**
***介紹：***
用於指定任務的排程模式，即如何將任務分配到可用的執行槽中。
***支援模式***
Eager排程：
適用於流計算。一次性申請需要的所有資源，如果資源不足，則作業啟動失敗。
分階段排程：
LAZY_FROM_SOURCES適用於批處理。從SourceTask開始分階段排程，申請資源的時候，一次性申請本階段所需要的所有資源。上游Task執行完畢後開始排程執行下游的Task，讀取上游的資料，執行本階段的計算任務，執行完畢之後，排程後一個階段的Task，依次進行排程，直到作業完成。
分階段Slot重用排程：
LAZY_FROM_SOURCES_WITH_BATCH_SLOT_REQUEST適用於批處理。與分階段排程基本一樣，區別在於該模式下使用批處理資源申請模式，可以在資源不足的情況下執行作業，但是需要確保在本階段的作業執行中沒有Shuffle行為。

Flink排程之排程器、排程策略、排程模式

相關文章