Apache SeaTunnel 2.3.8版本正式釋出！

ApacheSeaTunnel發表於2024-10-15
Apache

file

Apache SeaTunnel 2.3.8 版本現已正式釋出！此次版本後，使用者將可以使用期待已久的Docker映象，還可以體驗Job級別日誌功能，以及其他更新最佳化的功能。本文將詳細介紹 Apache SeaTunnel 2.3.8 版本中的關鍵更新內容，歡迎更多開發者和使用者參與到我們的開源社群中來。

  • 2.3.8版本下載： https://seatunnel.apache.org/download/
  • Release Note：https://github.com/apache/seatunnel/releases/tag/2.3.8

重點更新

Job級別日誌

此次更新中，我們對日誌功能進行了最佳化，在之前的版本中，多個任務的日誌都在一個檔案中列印，當同時執行多個任務後，多個任務的日誌交織在一起，不便於排查問題。

此次更新支援兩種方式的配置，以實現更加高效的日誌查詢。

第一種是在每行日誌中新增JobId，從而可以過濾查詢出每個日誌單獨的日誌；
file

第二種是根據JobId拆分檔案，只需修改日誌配置檔案，就可以每一個JobId列印單獨的日誌檔案。

file

新增Docker映象

此次更新中，新增了官方的映象支援，在映象中新增了全部的聯結器，使用者無需下載安裝包，可以直接透過拉取映象，更加方便地執行SeaTunnel，減小部署的複雜度，同時精簡使用K8S部署的使用者操作流程。

file

而對於有定製化需求，需要二次開發的使用者，新版本也提供了一鍵式打包構建映象的命令：

file

Flink/Spark引擎支援多表

之前的版本中，多表讀取，寫入的功能僅在Zeta引擎上進行了支援，此次更新後，Spark/Flink引擎也可以進行多表讀取和寫入。

適配 Prometheus 進行叢集監控

此前，使用者需要透過API來獲取叢集/任務的指標。現在，使用者可以將指標進行匯出到Prometheus上，Prometheus將定期拉取SeaTunnel的叢集任務狀態，並以視覺化介面展示出來，以更便利地監控叢集的狀態，及時發現問題。

file

新增Typesense聯結器支援

新增加對Typesense聯結器的支援。

改進和最佳化

新增Embedding transform

透過Embedding transform，SeaTunnel支援將機器學習模型嵌入到資料轉換過程中，把原始欄位轉換成向量值，再儲存到相應的機器學習資料庫。目前，SeaTunnel支援的機器學習模型提供商包括豆包、千帆、OpenAI，未來還將新增更多機器學習模型支援。

Kafka支援讀取/寫入Protobuf型別資料

增強了Kafka聯結器對Protobuf資料格式的支援，在Kafka聯結器下增加對Protobuf資料型別的定義，可以進行資料讀取和寫入。

檔案支援讀取壓縮包

增加了對壓縮檔案格式的讀取支援，省去了解壓縮的步驟。

更加細粒度的資源載入隔離

支援將ClassLoader從任務組級別的隔離最佳化為任務級別，從而避免Source/Sink使用相同ClassLoader時可能造成的依賴衝突。

其他最佳化還包括：

  • Paimon流失讀取和動態桶的寫入支援

  • SQL巢狀查詢支援查詢Map結構欄位

  • Iceberg的相關最佳化

  • 支援Kerberos認證

  • SaveMode新增IGNORE型別

  • 對於Redis不同版本的讀取適配最佳化

  • MySQL 8.1/8.2/8/3版本的適配

  • 支援TiDB的CDC讀取

  • 移除JDBC相關聯結器中系統表的限制

  • 為所有聯結器新增事件通知功能

  • ES聯結器支援多表讀取的功能

  • HBase聯結器新增多表寫入的功能

關鍵問題修復

  • 修復Hazelcast在非TCP連線時的組網問題
  • 修復資源隔離的問題
  • 修復Paimon Dynamic Bucket表，以及Decimal精度丟失的相關問題
  • 修復Iceberg任務結束資源未關閉的問題

詳細更新情況請參考Release Note：https://github.com/apache/seatunnel/releases/tag/2.3.8

致謝貢獻者

感謝@liunaijie對本次發版工作的指導和幫助，同時感謝以下社群成員的共同努力，讓本次發版工作順利完成：

hailin0, hawk9821, cl0924, sunxiaojian, dailai, corgy-w, Hisoka-X, liunaijie, chl-wxp, zhangshenghang, ISADBA, loustler, chenqianwen, FuYouJ, xxsc0529, EricJoy2048, ZhangWeike2000, jw-itq, kevinjmh, Carl-Zhou-CN, FlechazoW, PeppaPage, liugddx, Cheun99, happyboy1024, CosmosNi, Anush008, BruceWong96, zqr10159, cloud456, Gxinge, xxsc0529, luzongzhu, jiamin13579, Zuhdan, yujian225

本文由 白鯨開源 提供釋出支援！

相關文章