Flink的重啟策略

Flink的重啟策略

Flink支援不同的重啟策略，這些重啟策略控制著job失敗後如何重啟。叢集可以通過預設的重啟策略來重啟，這個預設的重啟策略通常在未指定重啟策略的情況下使用，而如果Job提交的時候指定了重啟策略，這個重啟策略就會覆蓋掉叢集的預設重啟策略。

概覽

預設的重啟策略是通過Flink的flink-conf.yaml來指定的，這個配置引數restart-strategy定義了哪種策略會被採用。如果checkpoint未啟動，就會採用no restart策略，如果啟動了checkpoint機制，但是未指定重啟策略的話，就會採用fixed-delay策略，重試Integer.MAX_VALUE次。請參考下面的可用重啟策略來了解哪些值是支援的。

每個重啟策略都有自己的引數來控制它的行為，這些值也可以在配置檔案中設定，每個重啟策略的描述都包含著各自的配置值資訊。

重啟策略	重啟策略值
Fixed delay	fixed-delay
Failure rate	failure-rate
No restart	None

除了定義一個預設的重啟策略之外，你還可以為每一個Job指定它自己的重啟策略，這個重啟策略可以在ExecutionEnvironment中呼叫setRestartStrategy()方法來程式化地呼叫，主意這種方式同樣適用於StreamExecutionEnvironment。

下面的例子展示了我們如何為我們的Job設定一個固定延遲重啟策略，一旦有失敗，系統就會嘗試每10秒重啟一次，重啟3次。
Java程式碼

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // 嘗試重啟次數
  Time.of(10, TimeUnit.SECONDS) // 延遲時間間隔
));

Scala程式碼:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // 重啟次數
  Time.of(10, TimeUnit.SECONDS) // 延遲時間間隔
))

重啟策略

下面部分描述了重啟策略特定的配置項

固定延遲重啟策略(Fixed Delay Restart Strategy)

固定延遲重啟策略會嘗試一個給定的次數來重啟Job，如果超過了最大的重啟次數，Job最終將失敗。在連續的兩次重啟嘗試之間，重啟策略會等待一個固定的時間。

重啟策略可以配置flink-conf.yaml的下面配置引數來啟用，作為預設的重啟策略:

restart-strategy: fixed-delay

配置引數	描述	預設值
restart-strategy.fixed-delay.attempts	在Job最終宣告失敗之前，Flink嘗試執行的次數	1，如果啟用checkpoint的話是Integer.MAX_VALUE
restart-strategy.fixed-delay.delay	延遲重啟意味著一個執行失敗之後，並不會立即重啟，而是要等待一段時間。	akka.ask.timeout,如果啟用checkpoint的話是1s

例子:

restart-strategy.fixed-delay.attempts: 3
restart-strategy.fixed-delay.delay: 10 s

固定延遲重啟也可以在程式中設定:
Java程式碼:

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // 重啟次數
  Time.of(10, TimeUnit.SECONDS) // 重啟時間間隔
));

Scala程式碼:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
  3, // 重啟次數
  Time.of(10, TimeUnit.SECONDS) // 重啟時間間隔
))

失敗率重啟策略

失敗率重啟策略在Job失敗後會重啟，但是超過失敗率後，Job會最終被認定失敗。在兩個連續的重啟嘗試之間，重啟策略會等待一個固定的時間。

失敗率重啟策略可以在flink-conf.yaml中設定下面的配置引數來啟用:

restart-strategy:failure-rate

配置引數	描述	預設值
restart-strategy.failure-rate.max-failures-per-interval	在一個Job認定為失敗之前，最大的重啟次數	1
restart-strategy.failure-rate.failure-rate-interval	計算失敗率的時間間隔	1分鐘
restart-strategy.failure-rate.delay	兩次連續重啟嘗試之間的時間間隔	akka.ask.timeout

restart-strategy.failure-rate.max-failures-per-interval: 3
restart-strategy.failure-rate.failure-rate-interval: 5 min
restart-strategy.failure-rate.delay: 10 s

失敗率重啟策略也可以在程式中設定:
Java程式碼:

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setRestartStrategy(RestartStrategies.failureRateRestart(
  3, // 每個測量時間間隔最大失敗次數
  Time.of(5, TimeUnit.MINUTES), //失敗率測量的時間間隔
  Time.of(10, TimeUnit.SECONDS) // 兩次連續重啟嘗試的時間間隔
));

Scala程式碼:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.failureRateRestart(
  3, // 每個測量時間間隔最大失敗次數
  Time.of(5, TimeUnit.MINUTES), //失敗率測量的時間間隔
  Time.of(10, TimeUnit.SECONDS) // 兩次連續重啟嘗試的時間間隔
))

無重啟策略

Job直接失敗，不會嘗試進行重啟

restart-strategy: none

無重啟策略也可以在程式中設定
Java程式碼:

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.setRestartStrategy(RestartStrategies.noRestart());

Scala程式碼:

val env = ExecutionEnvironment.getExecutionEnvironment()
env.setRestartStrategy(RestartStrategies.noRestart())