開源專案丨Taier1.2版本釋出,新增工作流、租戶繫結簡化等多項功能

數棧DTinsight發表於2022-07-27

file

2022 年 7 月 26 日,Taier1.2 版本正式釋出!

本次版本釋出更新功能:

  • 新增工作流

  • 新增 OceanBase SQL

  • 新增 Flink jar 任務

  • 資料同步、實時採集支援髒資料管理

  • Hive UDF

  • 控制檯 UI 升級

  • 租戶繫結簡化

新版本的使用文件已在社群中推送,大家可以隨時下載查閱,歡迎大家體驗新版本功能 **(喜歡我們的專案歡迎大家點個 Star)**,體驗地址:

Github:

Gitee:

https://gitee.com/dtstack_dev_0/taier

社群:

Taier1.2 版本介紹

Taier 是一個大資料分散式視覺化的 DAG 任務排程系統,旨在降低 ETL 開發成本、提高大資料平臺穩定性,大資料開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大資料平臺的架構實現,將工作的重心更多地聚焦在業務之中。

Taier 脫胎於袋鼠雲數棧,技術實現來源於數棧分散式排程引擎 DAGScheduleX,是數棧產品的重要基礎設施之一,負責大資料平臺所有任務例項的排程執行。

2022 年 2 月 22 日,Taier 正式開源併發布 1.0 版本。

2022 年 5 月 8 日,Taier1.1 版本釋出,更新對 Flink 的支援升級到 Flink1.12,支援多種流型別任務等功能。

2022 年 7 月 26 日,Taier1.2 版本釋出,本次釋出重點新增工作流功能,實現配置化編排業務;租戶簡化繫結,不同型別計算元件無強制依賴等功能。

Taier1.2 新增功能詳解

1. 新增工作流

透過視覺化操作拖動任務節點到畫板中,手動連線上下游任務組成依賴關係,形成一個 DAG 的工作流。同時支援任意型別的任務透過工作流拖拽的方式,直接實現配置化編排業務

file

2. 新增 OceanBase SQL

新增 OceanBaseSQL 任務,支援 OceanBaseSQL 的任務排程和運維展示。

3. 新增 Flink jar 任務

支援上傳自定義開發的 Flink jar 任務,透過 Taier 提交執行和監控。

4. 資料同步、實時採集支援髒資料管理

資料同步、實時採集支援髒資料管理,可以配置髒資料數量限制和儲存方式,可儲存至資料庫實時檢視。

5.Hive UDF

Hive SQL 支援 udf 函式開發配置。

6. 控制檯 UI 升級

控制檯互動和頁面全新升級,透過樹形結構展示元件配置資訊,同時支援擴充套件自定義元件進行配置。

file

7. 租戶繫結簡化

叢集和租戶繫結簡化,移除租戶對接叢集 schema 的強制繫結關係,不同型別計算元件無強制依賴;最佳化任務開發流程邏輯,支援自定義擴充套件任務型別。

未來規劃

Taier 自今年 2 月份開源以來,已更新迭代 Taier1.1、Taier1.2 兩個版本,目前 Taier1.3 的版本已在規劃中,在新版本中我們將著重解決以下幾個問題:

  • 支援 Flink Standalone 不依賴 Hadoop 也可以使用 Flink 相關的功能,降低上手環境成本

  • 適配開發者 Window 環境,支援 Window 環境下的任務提交流程

  • DatouSourceX 版本升級,新增更多的資料來源型別支援

除了不斷保持迭代更新外,Taier 將持續保持每月一次開源技術直播,幫助 Taier 開發者們更好的使用產品,歡迎有興趣的小夥伴們加入我們的交流社群(釘釘 qun:30537511),一起交流 Taier 的技術問題及難點,和 Taier 一起共同進步!

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2907749/,如需轉載,請註明出處,否則將追究法律責任。

相關文章