Apache DolphinScheduler支援Flink嗎？

海豚调度發表於2024-04-30
Apache

隨著大資料技術的快速發展，很多企業開始將Flink引入到生產環境中，以滿足日益複雜的資料處理需求。而作為一款企業級的資料排程平臺，Apache DolphinScheduler也跟上了時代步伐，推出了對Flink任務型別的支援。

Flink是一個開源的分散式流處理框架，具有高吞吐量、低延遲和準確性等特點，廣泛應用於實時資料分析、機器學習等場景。透過DolphinScheduler的Flink任務型別，使用者可以輕鬆地將Flink作業納入到整個資料排程流程中，大大提高了資料處理的效率和可靠性。本文將介紹如何在DolphinScheduler中支援Flink節點，包括任務建立、設定等。

Flink節點

Flink 任務型別，用於執行 Flink 程式。對於 Flink 節點：

  • 當程式型別為 Java、Scala 或 Python 時，worker 使用 Flink 命令提交任務 flink run。
  • 當程式型別為 SQL 時，worker 使用sql-client.sh 提交任務。

建立任務

  • 點選專案管理-專案名稱-工作流定義，點選“建立工作流”按鈕，進入 DAG 編輯頁面；
  • 拖動工具欄的 任務節點到畫板中。

任務引數

file

任務樣例

執行 WordCount 程式

本案例為大資料生態中常見的入門案例，常應用於 MapReduce、Flink、Spark 等計算框架。主要為統計輸入的文字中，相同的單詞的數量有多少。

若生產環境中要是使用到 flink 任務型別，則需要先配置好所需的環境。配置檔案如下：bin/env/dolphinscheduler_env.sh。

file

2.任務流程

  • 上傳主程式包

在使用 Flink 任務節點時，需要利用資源中心上傳執行程式的 jar 包。

當配置完成資源中心之後，直接使用拖拽的方式，即可上傳所需目標檔案。

file

  • 配置 Flink 節點

根據上述引數說明，配置所需的內容即可。

file

  • 執行 FlinkSQL 程式

根據上述引數說明，配置所需的內容即可。

file

注意事項

  • Java 和 Scala 只是用來標識，沒有區別，如果是 Python 開發的 Flink 則沒有主函式的 class，其餘的都一樣。
  • 使用 SQL 執行 Flink SQL 任務，目前只支援 Flink 1.13及以上版本。

原文連結：https://blog.csdn.net/zhengzaifeidelushang/article/details/136687233

本文由 白鯨開源 提供釋出支援！

相關文章