海豚排程任務型別Apache SeaTunnel部署指南

海豚调度發表於2024-04-02
型別Apache

file

Apache DolphinScheduler已支援Apache SeaTunnel任務型別，本文介紹了SeaTunnel任務型別如何建立，任務引數，以及任務樣例。

一、Apache SeaTunnel

SeaTunnel 任務型別，用於建立並執行 SeaTunnel 型別任務。worker 執行該任務的時候，會透過 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 檔案。

二、建立任務

  • 點選專案管理 -> 專案名稱 -> 工作流定義，點選“建立工作流”按鈕，進入 DAG 編輯頁面；
  • 拖動工具欄的 任務節點到畫板中。

三、任務引數

  • 啟動指令碼：選擇你想要執行任務的啟動指令碼，包括 seatunnel.sh, start-seatunnel-flink-13-connector-v2.sh, start-seatunnel-flink-15-connector-v2.sh, start-seatunnel-flink-connector-v2.sh, start-seatunnel-flink.sh, start-seatunnel-spark-2-connector-v2.sh, start-seatunnel-spark-3-connector-v2.sh, start-seatunnel-spark-connector-v2.sh, start-seatunnel-spark.sh
  • FLINK
  • 執行模型：支援 run 和 run-application 兩種模式
  • 選項引數：用於新增 Flink 引擎本身引數，例如 -m yarn-cluster -ynm seatunnel
  • SPARK
  • 部署方式：指定部署模式，cluster client
  • Master：指定 Master 模型，yarn local spark mesos，其中 spark 和 mesos 需要指定 Master 服務地址，例如：127.0.0.1:7077
  • SEATUNNEL_ENGINE
  • 部署方式：指定部署模式，cluster local
  • 自定義配置：支援自定義配置或從資源中心選擇配置檔案
  • 指令碼：在任務節點那自定義配置資訊，包括四部分：env source transform sink

四、任務樣例

該樣例演示為使用 Flink 引擎從 Fake 源讀取資料列印到控制檯。

1.在 DolphinScheduler 中配置 SeaTunnel 環境
若生產環境中要是使用到 SeaTunnel 任務型別，則需要先配置好所需的環境，配置檔案如下：/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

file
2.配置 SeaTunnel 任務節點
根據上述引數說明，配置所需的內容即可。

file

Config 樣例

env {
  execution.parallelism = 1
}

source {
  FakeSource {
    result_table_name = "fake"
    field_name = "name,age"
  }
}

transform {
  sql {
    sql = "select name,age from fake"
  }
}

sink {
  ConsoleSink {}
}

————————————————

版權宣告：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處連結和本宣告。

原文連結：https://blog.csdn.net/zhengzaifeidelushang/article/details/136685864

本文由 白鯨開源 提供釋出支援！

相關文章