Apache DolphinScheduler 3.2.2 版本正式釋出!

海豚调度發表於2024-07-23

file

Apache DolphinScheduler 3.2.2 版本正式釋出!

近日,Apache DolphinScheduler 釋出了 3.2.2 版本。此版本主要基於 3.2.1 版本進行了 bug 修復,新增若干特性,並進行了眾多改進和 Bug 修復,以及文件修復等。

📥3.2.2版本下載:https://dolphinscheduler.apache.org/zh-cn/download/3.2.2

⚙️Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.2.2

主要更新

增加引數型別

為了更有效地提升使用者體驗,本版本針對工作流啟動引數、全域性引數等引數型別進行擴充,把原有的固定 VARCHAR 資料值型別引數,擴充成為使用者能夠自行選擇的多種型別。

作業數量統計

增加 Master&Worker 的忙碌狀態,且增加 alert-server 服務監控,對頁面 UI 顯示進行最佳化,便於使用者更為直觀地監控核心服務狀態。另外,增加工作流啟動命令和失敗命令的展示頁面,方便使用者直觀地掌握工作流啟動命令執行情況。

其他重要問題修復

  • 完善了remote shell文件
  • 對工作流操作增加依賴提示
  • 頁面互動最佳化(專案偏好設定)
  • 替換雲環境中Java任務依賴環境為jdk
  • 對檔案操作的全路徑檢測
  • 增加記錄專案引數的操作詳情
  • 最佳化告警服務啟動時載入bean範圍
  • 修復引數丟失問題
  • 分頁查詢時總頁數錯誤問題
  • 修復任務終止後異常排程問題
  • 修復普通使用者授權專案問題
  • 修復任務組執行異常導致OOM問題
  • 最佳化Switch節點檢查分支是否存在

新增Feature

  • [DSIP-39][引數] 改進啟動引數/全域性引數/專案引數資料型別 ( #15967 )@sdhzwc
  • [Improvement][監控] 顯示 Master&Worker 忙碌或正常狀態並顯示命令表列表 ( #15978 )@qingwli
  • 新增 ETCD/JDBC 註冊指南連結 ( #15597 )@pegasas

Improvement

將schema 330 合併到 321 並更改文件 ( #15582 ) ( #15586 )@zhongjiajie

[Improvement][API] 新增 PageInfo UT ( #15622 )@Gallardot

[Improvement-15603][API] 刪除、修改工作流時,系統可以檢查是否有任何任務依賴於它。(#15681@calvinjiang

[Improvement-15694][UI] 儲存任務表單後,任務節點使用錯誤的背景顏色。( #15695 )@calvinjiang

[Improvement-15707][Master] 解決有任務依賴的工作流無法正常運作的問題( #15712 )@calvinjiang

[Improvement-15723][UI] 解決專案偏好設定替換遺漏問題( #15724 )@calvinjiang

[Improvement-15725][UI] 專案偏好設定的預設選項可以清除。( #15727 )@calvinjiang

[CI] 合併前需要傳遞前端 ci ( #15735 )@SbloodyS

[Improvement][RemoteLogging] 將 init 移至 loghandler ( #15780 )@pegasas

[Improvement] 新增資源全路徑檢查 ( #15786 )@caishunfeng

[Improvement-15744][parameter] 專案引數增加更新時間及更新使用者id ( #15745 )@sdhzwc

從 dolphinscheduler-task-dataquality 中刪除 dolphinscheduler-data-quality (#15791@ruanwenjun

[Improvement-15713][api]DataSource 和 UdfFunc 列表查詢使用列舉程式碼值而不是ordinal ( #15714 )@songwenyong

[Improvement] 修復 ProcessServiceImpl 的拼寫錯誤 ( #15817 )@qingwli

[Improvement][Api] 刪除無用的 batchUpdateUdfFunc 方法 ( #15844 )@qingwli

[Fix-15866][Doc] 更新taobao npm 映象地址 ( #15867 )@xxzuo

新增 DSIP 模板(#15871@ruanwenjun

[DSIP-28] 不要掃描類路徑下的整個目錄 bean(#15874@ruanwenjun

[DSIP-31] 減少 hikari 的連線池大小 ( #15890 )@ruanwenjun

[Improvement] 修復警報程式碼壞味道 ( #15892 )@qingwli

使用 workerNodeInfoWriteLock 更新工作節點資訊 ( #15903 )@DaqianLiao

[Improvement-15919][datasource] Improvement資料來源獲取名稱 ( #15920 )@sdhzwc

[Improvement-15910][UI] 使用並行執行模式時,應為自定義並行度提供預設值。( #15912 )@calvinjiang

最佳化 RPC 基類的範圍(#15946@ruanwenjun

[DSIP-35][Alert] 重構警報執行緒模型 ( #15932 )@ruanwenjun

[Improvement] 修復 pytorch 任務中的 git url 命令注入問題( #15873 ) ( #15950 )@cntigers

新增註冊模組統一整合測試 ( #15981 )@ruanwenjun

[Improvement] 使用帶有 snake yaml 的安全建構函式 ( #15758 )@EricGao888

[Improvement][監控] 為監控器新增 UT ( #15998 )@qingwli

棄用 2.0.9/3.0.6 升級測試(#16012@ruanwenjun

[Improvement][Doc]修正 appendix.md 中文文件中的錯別字 ( #16033 )@TianXinCoord

[Improvement][Helm] 製作 api/master/worker/alert 配置的 configmap ( #16058 )@pegasas

[Improvement-16125][dolphinscheduler-dist] 減少二進位制分發 tarball 檔案的大小 ( #16192 )@zhuxt2015

Bugfix

修復恢復暫停工作流例項可能會生成故障轉移任務例項問題(#15611@ruanwenjun

[FIX] 修復審計日誌的 parma 拼寫錯誤 ( #16077 )@qingwli

修復 out 引數可能丟失問題 ( #15617 )@ruanwenjun

[Bug][API] 列表分頁缺少總頁數 ( #15619 )@Gallardot

修復 Hive jdbc url(#15627@xxzuo

[Bug][dolphinscheduler-task-seatunnel] 指令碼資原始檔路徑錯誤 ( #15621 )@cqutwangyu

[Bug] 修復可以修改不在資源路徑下的檔案的問題 ( #15652 )@ruanwenjun

[Bug] 修復即使任務已被終止也可能會被排程的問題(#15662@ruanwenjun

[Bug] [Worker] 修復:建立具有主目錄的 Linux 使用者 ( #15670 )@zero-element

[Fix-15639] [Master] paramterPassing 為空情況 NPE ( #15678 )@liuchunhua

[Fix-15679][UI] 修復開關狀態按鈕顯示不正確問題 ( #15686 )@liuchunhua

[Fix][Master] 修復 worker 故障轉移時的潛在危險 ( #15689 )@ZhongJinHacker

[bug][外掛]修復 readme.md 中的單詞拼寫錯誤 ( #15716 )@ZhongJinHacker

修復“啟動引數覆蓋全域性引數”時出現的 NullPointerException 問題 ( #15677 )@wustlz

[CI] 修復 UI 構建錯誤 ( #15732 )@SbloodyS

[Fix-15698][UI] 在新標籤頁中開啟時關閉定義 ( #15736 )@arlendp

[CI] 修復前端 ci 不觸發問題 ( #15749 )@SbloodyS

[Bug] 當特定工作流版本下存在未完成的工作流例項時,禁止刪除該版本(#15730@ruanwenjun

[Bug] 修復延遲執行任務永遠不會被排程的問題 ( #15751 )@ruanwenjun

[Bug] 修復 Switch 任務不檢查分支是否存在問題 ( #15755 )@ruanwenjun

[Fix] 新增資源全名檢查 ( #15757 )@caishunfeng

[Fix-15771] 修復普通使用者可以授予專案許可權的問題 ( #15772 )@silentxingtian

[bug][ui] 新增缺失的資料來源並更新資料來源 ID ( #15776 )@whhe

[Bug] 修復 TaskGroupCoordinator 在有大量等待 TaskGroupQueue 時可能導致 OOM 的問題 ( #15773 )@ruanwenjun

[Bug] 修復依賴任務邏輯 ( #15795 )@abzymeinsjtu

[Bug] [Common] 修復 common.properties 上的拼寫錯誤(#15806@pegasas

修復無法構造 StreamingTaskTriggerResponse 例項的問題(#15816@atjiucheng

[Improvement] 異常字元檢查 ( #15824 )@pinkfloyds

[Improvement] 修改 python-gateway: enabled 預設為 false。( #15825 )@pinkfloyds

[Fix-15787] 重用程式碼並解決複雜 SQL 解析異常的問題... ( #15833 )@xinxingi

修復 ErrorCommand 丟失 Command 中的某些欄位 ( #15847 )@ruanwenjun

繫結 processId 來構造 CodeGenerator ( #15848 )@ruanwenjun

禁止強制成功執行正在執行的工作流例項中的任務例項 ( #15855 )@ruanwenjun

[Bug] 修復 QUARTZ 表順序在初始化模式中不正確的問題 ( #15857 )@ruanwenjun

將 ssh 心跳型別更改為 IGNORE(#15858@ruanwenjun

[FIX] 修復恢復已停止例項失敗的問題 ( #15880 )@privking

修復 queryByTypeAndJobId 可能因多個結果而出錯的問題 ( #15883 )@ruanwenjun

修復終止動態任務不會終止等待執行的工作流例項問題 ( #15896 )@ruanwenjun

修復自動併發建立 Tennat 會導致任務失敗的問題 ( #15909 )@ruanwenjun

修復 java 任務中 jar 路徑不正確的問題 ( #15906 )@ruanwenjun

[修復] 已完成的任務無法在工作流例項中重新執行(#15884@privking

[Fix-15937] 將 tenantCode 傳播新增到 DynamicCommandUtils.createCommand(#15956@stoplyy

[fix-15907] 修復獲取遠端 shell 退出程式碼不正確的問題 ( #15911 )@Zzih96

[Fix-15969] [Helm] 不存在 DB 節點 ( #15970 )@Gallardot

EMR 任務支援替換引數佔位符 ( #15975 )@ruanwenjun

文件:修復拼寫錯誤(#15996@jbampton

修復 ci 中 pg 資料庫架構變更檢查失敗問題 ( #15995 )@ruanwenjun

[Fix-15992] 透過有序迭代 MasterPriorityQueue 來維護slot index(#15993@coldestlin

修復由於 varpool 中的重複鍵導致工作流例項重新啟動失敗問題(#16001@ruanwenjun

在登錄檔 IT 中使用隨機埠 ( #16014 )@ruanwenjun

修復併發操作導致的 rpc channel 洩漏 ( #16021 )@ruanwenjun

修復 WorkerTaskExecutorThreadPool#isOverload 不正確的問題 ( #16027 )@ruanwenjun

[Fix][CI] 修復 E2E-K8S-Execute 的 ci 錯誤 ( #16031 )@rickchengx

[Hotfix] 修復 NettyRemotingClient 可能丟擲 IllegalMonitorStateException 的問題 ( #16038 )@ruanwenjun

[Fix-16046][SqlTask] 修復 Sql 任務使用時間型別不正確的問題 ( #16050 )@yinxiaolog

[helm] 從通用標籤中刪除 AppVersion ( #16066 )@Gallardot

恢復“[Improvement] 異常字元檢查”(#16102@ruanwenjun

修復狀態為 dispatch 的任務例項不會進行故障轉移 ( #16107 )@ruanwenjun

修復切換任務下的任務節點不會被跳過 ( #16108 )@ruanwenjun

[Bug] 修復條件任務會導致工作流例項失敗 ( #16152 )@ruanwenjun

[Fix-16063] 修復升級到 v3.2.1 後管理員登入租戶未指定的問題 ( #16064 )@tinglink

[Fix-16174] 叢集安裝指南不正確。(#16208@SbloodyS

[Fix-16222] 修復 worker 過載導致任務失敗的問題 ( #16221 )@ruanwenjun

[Fix-16211] 刪除 buildJarCommand 中的 ExecutePath 以修復 Jar 模式下的 Java 任務(#16238@lanxing2

[Fix-16253] 修復 JDBCRegistry 重新整理鎖錯誤 ( #16252 )@ruanwenjun

[Fix-16272][警報伺服器] 警報伺服器傳送警報失敗 ( #16275 )@wangbowen1024

[CP-16252] 修復 JDBCRegistry 重新整理鎖定錯誤 ( #16252 ) ( #16273 )@ruanwenjun

[Fix-16191] 修復任務無法使用工作流的環境 ( #16199 )@ruanwenjun

[Bug][Worker] 將 jre 替換為 jdk ( #15764 )@Gallardot

Document修復

[DSIP-32][Master] 為master獲取命令新增命令獲取器策略 ( #15900 )@ruanwenjun

[Doc] 修復 CNCF logo(#15634@Gallardot

[Doc][遠端 shell] 缺少版本 3.2.1 的遠端 shell 文件 ( #15660 )@pegasas

[Doc] 修復 ci 文件檢查超時問題 ( #15664 )@SbloodyS

[Doc] 修復資源配置存在拼寫錯誤 ( #15988 )@dongyu6

文件:修復 contribute.md 中的型別(#16022@jxbwhe

Chore

瑣事:修改一些 CODEOWNERS(#15654@zhongjiajie

[HotFix] [CI] 暫時跳過可合併檢查 ( #15958 )@SbloodyS

[Chore] 撤銷 3.2.2 版一些不相容的更改 ( #16214 )@SbloodyS

[Chore] 報警伺服器傳送報警失敗 ( #16275 ) ( #16284 )@SbloodyS

[Chore] [Cherry-Pick] 挑選一些 pr 到 3.2.2 ( #16215 )@SbloodyS

[Hotfix] 修復 dsip 名稱問題 ( #15876 )@ruanwenjun

致謝貢獻者

感謝本次發版人@wangxj3 主導本次發版工作,@Kerwin、@ruanwenjun和@SbloodyS 對本次發版工作的指導,以及以下 Contributor 的支援(排名不分先後):
DaqianLiao, EricGao888, Gallardot, SbloodyS, TianXinCoord, ZhongJinHacker, Zzih96, abzymeinsjtu, arlendp, atjiucheng, caishunfeng, calvinjiang, cntigers, coldestlin, cqutwangyu, dongyu6, jbampton, jxbwhe, lanxing2, liuchunhua, pegasas, pinkfloyds, privking, qingwli, rickchengx, ruanwenjun, sdhzwc, silentxingtian, songwenyong, stoplyy, tinglink, wangbowen1024, whhe, wustlz, xinxingi, xxzuo, yinxiaolog, zero-element, zhongjiajie, zhuxt2015

本文由 白鯨開源 提供釋出支援!

相關文章