新起點!大資料分散式視覺化的 DAG 任務排程系統 Taier 正式釋出1.4版本
我們很高興向大家宣佈,2023年4月14日,Taier 正式釋出 1.4 版本。自2022年2月份 Taier 正式開源以來,收到了很多開發者和行業使用者的積極評價,在諸多生產環境中已得到充分應用。Taier 1.4版本正是吸收了各類實踐經驗及大家的建議,進行了此次迭代最佳化。
本次更新不僅包含了效能最佳化和穩定性的提升,還新增了各類任務型別、完善大量任務功能,最佳化使用場景,持續增強開源產品化技術能力和應用能力。
Taier 是一款好用又強大的大資料分散式視覺化的 DAG 任務排程系統,旨在降低 ETL 開發成本、提高大資料平臺穩定性。它讓大資料開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大資料平臺的架構實現,將工作的重心更多地聚焦在業務之中。
截至目前(2023 年 4 月 17 日),Taier 在 GitHub 的 Star 數已經突破 1.1 k,並擁有37名社群貢獻者,我們在此對所有參與到 Taier 專案及社群建設的朋友們表達由衷的感謝。
目前新版本已在 Github 與 Gitee 上線,歡迎大家前往體驗。
Github:
Gitee:
https://gitee.com/dtstack_dev_0/taier
社群官網:
Taier 1.4 版本更新亮點
新增任務型別
· 新增 DataX 元件,在無 Hadoop 環境的情況下,Taier 可以透過執行 DataX 的任務來實現異構資料來源之間高速穩定的資料同步的能力,增強 Taier 在單機模式下的基礎功能。
· 新增 Greenplum、GaussDB、MySQL、Postgresql、Sqlserver、TiDB、Vertica、Maxcompute 等任務型別,完善 Taier 相關 SQL 任務型別。
· 新增 Hadoop MR 任務型別,可以透過自行編寫 Map/Reduce 的程式碼,來執行對應的資料集的處理。
完善任務功能
· Script 元件新增 Standalone 模式, 支援 Python、Shell 任務本地執行,移除指令碼任務對 Hadoop 環境的強依賴。
· 資料同步任務支援 Hive3 的資料來源嚮導模式配置。
· HiveSQL、Spark SQL 的臨時查詢表支援定時清理。
最佳化使用場景
· 相容 Taier 在 Window 環境下部署執行的環境問題。
· 最佳化 Taier 部分後設資料表結構資訊、完善表結構備註資訊。
· 最佳化控制檯元件配置引數資訊,移除環境相關引數資訊,Spark 元件支援自動上傳 SqlProxy 包,減少元件配置依賴。
接下來
Taier 1.4 版本的釋出是又一個全新的開始,開發團隊不會停下腳步,未來將根據使用者反饋加速迭代持續最佳化,完善 Taier 的功能和檔案,滿足使用者更多場景的使用,推進國內開源生態的發展。
Taier 此前的成績離不開每一位參與者的貢獻與支援,踏上這個新的起點,Taier 的未來也仍需大家共同努力,讓 Taier 朝著好用又強大的 DAG 任務排程系統的目標繼續前進。
《資料治理行業實踐白皮書》下載地址:
想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szitpub
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2947269/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- DAG任務排程系統 Taier 演進之道,探究DataSourceX 模組AI
- 開源公開課丨大資料排程系統 Taier 任務排程介紹大資料AI
- Easy Scheduler 1.0.2 釋出,分散式工作流任務排程系統分散式
- 分散式任務排程分散式
- 分散式任務排程系統設計小結分散式
- 分散式排程任務-ElasticJob分散式AST
- Zeu.js 1.3.1 釋出, 分散式系統視覺化JS分散式視覺化
- 開源分散式任務排程系統就選:DolphinScheduler分散式
- OPPO大資料離線任務排程系統OFLOW大資料
- 開源大資料排程系統 Taier 技術公開課 ——Taier 資料開發介紹大資料AI
- LTS分散式任務排程部署分散式
- 分散式系統架構之構建你的任務排程中心分散式架構
- 任務系統之任務流程視覺化視覺化
- 基於Hyperf開發的任務排程系統.支援任務投遞,DAG任務編排(多個任務使用同一個事務).
- ECharts 全新大版本 4.0 正式釋出!百度資料視覺化實驗室成立Echarts視覺化
- Apache DolphinScheduler大規模任務排程系統對大資料實時Flink任務支援Apache大資料
- 淺談分散式任務排程系統Celery的設計與實現分散式
- Aloha:一個分散式任務排程框架分散式框架
- 中介軟體---分散式任務排程---Celery分散式
- micro-job分散式任務排程框架更新分散式框架
- 分散式任務排程平臺XXL-JOB分散式
- 新一代分散式任務排程框架分散式框架
- 分散式任務排程內的 MySQL 分頁查詢最佳化分散式MySql
- 大資料視覺化的特點大資料視覺化
- 在spring boot中3分鐘上手分散式任務排程系統xxl-jobSpring Boot分散式
- 詳解BI系統中的任務排程
- Spring Boot Quartz 分散式叢集任務排程實現Spring Bootquartz分散式
- 官宣!Taier1.3 新版本正式釋出,新鮮功能搶先體驗AI
- 關聯資料的釋出與視覺化視覺化
- 帶有分散式鎖的Go計劃任務排程器- DEV分散式Godev
- 為民服務 智慧政務資料視覺化大屏一體化系統視覺化
- 智慧公安警務系統開發,視覺化大資料開發。視覺化大資料
- 分散式任務排程平臺XXL-JOB快速搭建教程分散式
- SpringBoot自定義starter開發分散式任務排程實踐Spring Boot分散式
- 基於開源大資料排程系統Taier的Web前端架構選型及技術實踐大資料AIWeb前端架構
- 一文讀懂:開源大資料排程系統Taier1.2版本新增的「工作流」到底是什麼?大資料AI
- 開發BI大資料分析視覺化系統大資料視覺化
- 分散式資料(4)分散式與版本化分散式