官宣!Taier1.3 新版本正式釋出,新鮮功能搶先體驗

數棧DTinsight發表於2022-11-08

2022 年 11 月 7 日,Taier1.3 版本正式釋出!

Taier 是一個大資料分散式視覺化的 DAG 任務排程系統,旨在降低 ETL 開發成本、提高大資料平臺穩定性,大資料開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大資料平臺的架構實現,將工作的重心更多地聚焦在業務之中。

Taier 自今年 2 月份開源之後,得到了社群開發者的廣泛支援,我們積極吸收社群開發者的意見建議,不斷迭代版本,目前已釋出了 Taier1.1、Taier1.2 這兩個大的版本更新。

本次釋出的 Taier1.3 版本,我們新增了 Flink Standalone 元件,融合了 DataSourceX 的模組,並新增了 Python、Shell、ClickHouse、Doris SQL 等多種任務,任務資料來源繫結,任務支援指定佇列執行,並進行了部署最佳化,同時對官網社群的 UI 進行了全新的升級改造。

目前新版本已在 Github 與 Gitee 上線,同時使用文件也在社群推送,大家可以隨時下載查閱,歡迎大家前往體驗(喜歡我們的專案歡迎大家點個 Star),體驗地址:

Github:

Gitee:

https://gitee.com/dtstack_dev_0/taier

社群官網:

同時為了方便沒有釘釘的開發者們更好的交流 Taier 開源技術,我們新建了 Taier 開源技術微信交流群,歡迎大家加入一起探討開源技術~

file

Taier1.3 版本詳解

01 新增 Flink Standalone

新增 Flink Standalone 元件,可以透過 Flink Standalone 使用 Flink SQL、資料同步、實時採集等任務相關功能。移除 Taier 對 Hadoop 元件的強依賴,支援輕量化的資料處理。

file

02 DataSourceX 融合

Taier 融合 DataSourceX 模組,移除 Taier 外部外掛依賴。新增資料來源外掛相關特性,支援後續 Taier 對接更多的 RDBMS 型別的 SQL 任務。

03 新增 Python、Shell 任務

新增 Script 元件,支援 Python、Shell 任務型別,可以在 Taier 上透過指令碼型別任務進行操作。

file

file

04 新增 ClickHouse、Doris SQL 任務

新增 ClickHouse、Doris SQL 任務型別,支援資料同步指令碼模式到 ClickHouse、Doris,再進行任務排程處理。

05 任務資料來源繫結

控制檯元件移除 SQL 型別元件配置,SQL 任務直接和資料來源互相繫結,支援任務和資料來源一對一的執行,將 SQL 執行域細分到具體的單個資料來源。

file

06 任務支援指定佇列執行

Hadoop 型別任務支援指定佇列執行,佇列資源隔離細分到任務級別。

07 部署最佳化

Taier 最佳化單機部署,最佳化前後端部署操作,簡化 docker 映象部署流程,降低上手難度。

08 官網升級

Taier 社群新官網上線,UI 設計全面升級。

file

後續版本規劃

Taier 今年更新了 3 個大的版本,按照社群規劃,後續版本我們計劃重點圍繞關鍵點:

● 完善 Taier Datasource 模板支援 SQL 任務

● HadoopMR、Spark Jar、PySpark 任務支援

● 任務告警

● Windows 開發環境適配

我們歡迎社群的開發者們一起參與到 Taier 的版本建設中來,同時大家如果有其他的意見建議也可以給我們提一個 Issue 或者 PR,大家可以來一起探討怎麼更好的共建專案。感興趣的小夥伴們可以加入我們的技術交流社群,一起交流 Taier 的技術問題及難點,共建 Taier!

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大資料開源專案有興趣的同學加入交流最新技術資訊,開源專案庫地址:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2922359/,如需轉載,請註明出處,否則將追究法律責任。

相關文章