我們很高興地宣佈WhaleStudio 2.6版本的正式釋出！新版本中包含了資料排程模組WhaleScheduler和資料整合模組WhaleTunnel的百餘項核心功能更新，本文摘選了WhaleScheduler常用功能更新的概況，關於WhaleTunnel的更新詳情將於近期釋出，歡迎關注！
WhaleStudio中的排程模組WhaleScheduler作為一款全球領先的資料工作流排程系統，一直致力於為使用者提供更加高效、便捷的功能。本次版本更新，我們特別最佳化和增強了多個功能模組，解決了許多使用者在日常工作中遇到的實際問題，詳情歡迎檢視文末聯絡方式諮詢。
WhaleScheduler是白鯨開源Apache DolphinScheduler核心研發團隊打造的新一代排程工具，繼承了開源使用簡單、分散式、易擴充套件的優點，同時加入大量商業版本功能，支援多雲、信創環境的資料來源與環境部署。
實時任務管理支援
現在越來越多的使用者開始使用實時資料倉儲，從資料CDC抽取到資料實時加工及展示，從而支援風控、經濟業務、銀行線上分析等實時場景。在2.6版本中，我們還新增了對多種實時任務的全面支援， 使用者可以更便捷地進行編輯、管理、控制和刪除操作，全面升級使用者實時資料倉儲開發能力。這些實時任務包括：
- Spark Streaming
- Flink Streaming
- WhaleTunnel Streaming（CDC）
- Java Jar
此外，我們為上述任務提供了高階配置與編輯功能：
- Jar任務託管：可以在資源中心/Git中進行託管並進行部署運維。
- Flink實時元件配置：支援Flink實時元件的原生引數配置。
- WhaleTunnel CDC任務：可以進行引數傳遞，包括迴圈呼叫。
工作流複製功能增強
另一方面，隨著使用者的產品越來越多，幫助使用者提高工作流使用的便捷性，是2.6版本中的重要目標。
在日常工作中，您是否經常遇到這樣的場景？不同專案使用的表和處理過程非常相似，然而在使用工作流複製功能時，卻發現其中的邏輯節點和子節點無法被複制。這給很多使用者帶來了不便和額外的工作量。為了解決這個問題，WhaleStudio 2.6版本新增複製邏輯任務節點、支援級聯複製子工作流、跨專案複製子工作流功能：
01 支援複製邏輯任務節點
在2.6版本中，工作流複製功能得到了顯著增強。現在，您可以輕鬆地複製包含邏輯任務節點的工作流。這意味著，即使工作流中包含複雜的邏輯判斷和處理節點，也可以在不同專案中快速複用，極大地提高了工作效率。
02 級聯複製子工作流
另一個令人激動的改進是，當工作流中包含子工作流時，複製操作將支援級聯複製子工作流。這意味著，整個工作流結構，包括所有巢狀的子工作流，都可以一併複製，不再需要手動一個一個節點進行復制。這項功能不僅簡化了操作流程，還確保了工作流的一致性和完整性。
03 支援跨專案複製子工作流
在2.6版本中，工作流複製功能進一步增強，新增支援跨專案複製工作流。現在，您可以輕鬆地將工作流從一個專案複製到另一個專案中，實現資源和配置的跨專案共享，進一步提升了工作效率和專案協同能力。
依賴任務功能增強
為了提升依賴任務(DEPENDENT)的靈活性和易用性，我們在2.6版本中進行了多項改進：
- 弱依賴模式：為了提高任務排程的靈活性，我們新增了任務元件的執行標誌“失敗繼續”的弱依賴模式。在這種模式下，當前任務節點執行失敗（例如等待1小時還為滿足要求，而失敗）不會阻斷當前流程，後續任務將正常提交執行。
- 業務日期修改為牌日期：明確表示當選擇牌日期時將會根據依賴規則在當前工作流的牌所使用的日曆上進行查詢對應業務日期。
- 新增月維度的時間依賴選項：牌日期依賴新增了月緯度的時間選項，增加了時間依賴的靈活性。
- 依賴所有任務（ALL）：不再單獨檢查任務狀態，而是檢查整個工作流的執行狀態。被依賴的工作流中的任務可以修改和刪除了。
- 依賴檢查最佳化：依賴檢查時不再取“最後結束時間”而是取“最後開始時間”作為判斷最新例項的條件，避免後啟動的例項先完成而導致依賴判斷出錯的問題。
- 自然日時間依賴不使用日曆：自然日的時間依賴現在無需使用日曆，簡化了依賴設定。
多種任務功能增強
為了進一步提升任務功能的多樣性和靈活性，我們在2.6版本中進行了多項增強：
01 SQL任務
最佳化了SQL任務的引數傳遞。在SQL任務中設定傳出引數時，現在能夠獲取並向後傳遞多行的返回結果。這一改進大大增強了SQL任務的靈活性和實用性，使得處理複雜查詢和資料傳遞更加方便。
02 DATA QUALITY任務
在2.6版本中，DATA QUALITY任務得到了顯著增強。現在，您可以使用引數變數替換表名和過濾條件中的部分字元，從而可以使用迴圈節點或者前面的SQL節點的內容來批次控制資料質量。這使得資料質量管理更加動態和靈活。
03 BREAK任務
新增了BREAK邏輯任務節點。該節點允許在執行到此節點時自動暫停流程併傳送告警通知，從而讓使用者可以手工參與到工作流的安排中。這一功能使得工作流排程更加靈活，並能夠及時響應和處理異常情況。
04 資源池任務優先/工作流優先任選
在 2.6版本中，我們對資源池配置進行了最佳化，增加了優先策略設定。使用者現在可以選擇任務優先或工作流優先，這將影響任務在資源池佇列中的排序規則。特別是當選擇工作流優先時，系統將保證先提交的工作流優先完成。這一功能最佳化了資源分配和任務排程策略，使排程過程更加高效和合理。
影響分析與展示效能最佳化
為了提升使用者體驗和系統效能，2.6版本在整體展示效能上進行了顯著最佳化，現在畫布可支援同時展示數千個節點。
此外，我們對展示範圍和邏輯進行了重構：
- 展示範圍更新：僅展示處於依賴鏈條上的節點，減少不必要的節點顯示，提高畫面清晰度和操作效能。
- 展示邏輯重構：以起點（被搜尋節點）為中心，按依賴關係的層數由近到遠進行展示。具體如下：
- x軸：節點與起點的相隔層數關係，同一層數的節點在同一列。
- y軸：以工作流為緯度，展示節點與起點的相隔關係。
- 畫布佈局：左側展示節點的父關係鏈路，右下側展示節點的子關係鏈路。
同時我們對頁面的搜尋邏輯進行了最佳化，改進了搜尋返回結果的方式。當搜尋工作流或節點時，結果將分批返回，提升了搜尋效率和頁面響應速度。
工作流匯入匯出及管理最佳化
我們還改進了工作流的匯入匯出功能以及管理體驗，確保使用者在操作時更加便捷和安全：
01 工作流匯入新增許可權校驗
在匯入工作流時，新增了許可權校驗功能。如果您沒有檔案內工作流配置中引用資源或配置的使用許可權，將無法成功匯入到目標專案中。這一改進提高了系統的安全性和資料完整性，也避免匯入資料後因為許可權原因無法執行。
02 工作流Excel匯入匯出模版更新
我們更新了工作流的Excel匯入匯出模版，使操作更加直觀和易用，進一步提升了使用者體驗。這樣在維護上萬個工作流的時候，維護好Excel模板就可以快速匯入匯出。
03 工作流上下線
現在，工作流上線後允許使用者開啟檢視工作流內的配置資訊。這樣您可以在工作流上線後依然檢查和檢視其詳細配置，確保一切執行如預期，而不用先下線才能看工作流內部資訊。
04 工作流列表最佳化
我們調整了工作流定義名稱列的寬度比例，並增加了列表中每列的寬度上限。這樣，即使某些列內容較少，也不會導致某些列特別寬，整體介面更加美觀和協調。
小結
WhaleScheduler 2.6版本中，我們釋出了多達78項核心功能的更新，旨在全面提升使用者體驗和系統效能。本次升級涵蓋了工作流複製、實時任務管理、匯入匯出管理、多種任務功能、DEPENDENT任務增強、資源池配置最佳化，以及影響分析與展示效能最佳化等多個方面，本文僅摘選了2.6版本當中的一些常用功能更新，如果您對WhaleScheduler或者WhaleStudio感興趣，歡迎垂詢。
- 郵箱: xiyan@whaleops.com
- 加V:17743592110
- 公司網站: www.whaleops.com
白鯨開源
白鯨開源是一家開源原生的DataOps商業公司，是國家高新技術企業，由多個Apache Foundation Member成立，80%員工都是 Apache Committer，運營2個全球Apache開源專案(DolphinScheduler, SeaTunnel）。白鯨開源已根據全球最佳實踐釋出商業版產品WhaleStudio(含白鯨資料排程平臺WhaleScheduler和白鯨資料整合平臺WhaleTunnel）。我們致力於打造下一代開源原生的DataOps 平臺，助力企業在大資料和雲時代，智慧化地完成多資料來源、多雲及信創環境的資料整合、排程開發和治理，以提高企業解決資料問題的效率，提升企業分析洞察能力和決策能力。
本文由 白鯨開源 提供釋出支援！