隨著大資料技術的快速發展，很多企業開始將Flink引入到生產環境中，以滿足日益複雜的資料處理需求。而作為一款企業級的資料排程平臺，Apache DolphinScheduler也跟上了時代步伐，推出了對Flink任務型別的支援。
Flink是一個開源的分散式流處理框架，具有高吞吐量、低延遲和準確性等特點，廣泛應用於實時資料分析、機器學習等場景。透過DolphinScheduler的Flink任務型別，使用者可以輕鬆地將Flink作業納入到整個資料排程流程中，大大提高了資料處理的效率和可靠性。本文將介紹如何在DolphinScheduler中支援Flink節點，包括任務建立、設定等。
Flink節點
Flink 任務型別，用於執行 Flink 程式。對於 Flink 節點：
- 當程式型別為 Java、Scala 或 Python 時，worker 使用 Flink 命令提交任務 flink run。
- 當程式型別為 SQL 時，worker 使用sql-client.sh 提交任務。
建立任務
- 點選專案管理-專案名稱-工作流定義，點選“建立工作流”按鈕，進入 DAG 編輯頁面；
- 拖動工具欄的 任務節點到畫板中。
任務引數
任務樣例
執行 WordCount 程式
本案例為大資料生態中常見的入門案例，常應用於 MapReduce、Flink、Spark 等計算框架。主要為統計輸入的文字中，相同的單詞的數量有多少。
1.在 DolphinScheduler 中配置 Flink 環境
若生產環境中要是使用到 flink 任務型別，則需要先配置好所需的環境。配置檔案如下：bin/env/dolphinscheduler_env.sh。
2.任務流程
- 上傳主程式包
在使用 Flink 任務節點時，需要利用資源中心上傳執行程式的 jar 包。
當配置完成資源中心之後，直接使用拖拽的方式，即可上傳所需目標檔案。
- 配置 Flink 節點
根據上述引數說明，配置所需的內容即可。
- 執行 FlinkSQL 程式
根據上述引數說明，配置所需的內容即可。
注意事項
- Java 和 Scala 只是用來標識，沒有區別，如果是 Python 開發的 Flink 則沒有主函式的 class，其餘的都一樣。
- 使用 SQL 執行 Flink SQL 任務，目前只支援 Flink 1.13及以上版本。
原文連結：https://blog.csdn.net/zhengzaifeidelushang/article/details/136687233
本文由 白鯨開源 提供釋出支援！