Flink提交Job的方式以及引數設定

元亨利貞發表於2023-09-28

引數介紹

./bin/flink run -t yarn-session \
  -Dyarn.application.id=application_XXXX_YY \
  ./examples/streaming/TopSpeedWindowing.jar
  
  
 ./bin/flink run -t yarn-per-job 
  --detached ./examples/streaming/TopSpeedWindowing.jar
  
  
 ./bin/flink run-application -t yarn-application 
 ./examples/streaming/TopSpeedWindowing.jar
 
 
yn(實際) = Math.ceil(p/ys)
ys(總共) = yn(實際) * ys(指定)
ys(使用) = p(指定)
flink run 
-c,--class Flink應用程式的入口
-C,--classpath 指定所有節點都可以訪問到的url,可用於多個應用程式都需要的工具類載入
-d,--detached 是否使用分離模式,就是提交任務,cli是否退出,加了-d引數,cli會退出
-n,--allowNonRestoredState 允許跳過無法還原的savepoint。比如刪除了程式碼中的部分operator
-p,--parallelism 執行並行度
-s,--fromSavepoint 從savepoint恢復任務
-sae,--shutdownOnAttachedExit 以attached模式提交,客戶端退出的時候關閉叢集
flink yarn-cluster 模式
-d,--detached 是否使用分離模式
-m,--jobmanager 指定提交的jobmanager
-yat,--yarnapplicationType 設定yarn應用的型別
-yD 使用給定屬性的值
-yd,--yarndetached 使用yarn分離模式
-yh,--yarnhelp yarn session的幫助
-yid,--yarnapplicationId 掛到正在執行的yarnsession上
-yj,--yarnjar Flink jar檔案的路徑
-yjm,--yarnjobManagerMemory jobmanager的記憶體(單位M)
-ynl,--yarnnodeLabel 指定 YARN 應用程式 YARN 節點標籤
-ynm,--yarnname 自定義yarn應用名稱
-yq,--yarnquery 顯示yarn的可用資源
-yqu,--yarnqueue 指定yarn佇列
-ys,--yarnslots 指定每個taskmanager的slots數
-yt,--yarnship 在指定目錄中傳輸檔案
-ytm,--yarntaskManagerMemory 每個taskmanager的記憶體
-yz,--yarnzookeeperNamespace 用來建立ha的zk子路徑的名稱空間
-z,--zookeeperNamespace 用來建立ha的zk子路徑的名稱空間


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024433/viewspace-2986669/,如需轉載,請註明出處,否則將追究法律責任。

相關文章