社群6月月報 | Apache SeaTunnel重要更新與最佳化記錄

ApacheSeaTunnel發表於2024-07-08
Apache

各位熱愛Apache SeaTunnel的小夥伴們，社群6月份月報來啦！這裡將記錄Apache SeaTunnel社群每月的重要更新，歡迎關注。

月度Merge Stars

感謝以下小夥伴上個月為Apache SeaTunnel所做的精彩貢獻（排名不分先後）：

file

@baicie,@TaoZex,@loustler,@15810785091,@4chicat,@raboof,@Hisoka-X,@rtyuy,@wuchunfu,@ddna1021,@zhilinli123,@liunaijie,@somnmos,@CosmosNi,@MRYOG,@liugddx,@hailin0,@EricJoy2048,@litiliu,@zhangshenghang,@chl-wxp,@kim-up,@dailai

apache/seatunnel倉庫

Fix

  • [Hotfix][MySQL-CDC]修復讀取GBK varchar型別的中文亂碼問題 @hailin0
  • [Fix][Connector-V2]修復StarRocks中已經存在的Content-Length頭錯誤 @Hisoka-X
  • [connector-jdbc][bugfix]修復SQL Server建立表時，關於特定字串註釋的bug。 @chl-wxp
  • [connector-jdbc][bugfix]修復PostgreSQL建立表時關於comment欄位特殊字串型別的bug。 @chl-wxp
  • [Hotfix][DOC]修復無效連結 @wuchunfu
  • [Hotfix][Hive]修復Hive的load時，也太晚地設定了hive_site_path和hdfs_site_path。 @EricJoy2048
  • [connector-jdbc][bugfix]修復Oracle建立表註釋時處理特殊字串的bug。 @chl-wxp
  • [Hotfix][CDC]修復拆分模式的變更流 @hailin0
  • [fix]將IMAP快取資料欄位型別恢復為與舊版本相容 @liunaijie
  • [connector-jdbc][bugfix]修復MySQL建立表時評論欄位特殊字串的bug @chl-wxp
  • [Hotfix][Zeta]修復generate_client_protocol.sh @hailin0
  • [Hotfix][Zeta]修復多執行緒讀取時，Apache SeaTunnel 中的架構變更導致的任務崩潰問題。 @dailai
  • [Hotfix][Zeta]修復SeaTunnel Metrics丟失資料的問題 @EricJoy2048
  • [bugfix][connector-mongodb]修復MongoDB中空值寫入問題 @chl-wxp
  • [Hotfix][Connector-V2][kafka]關於Apache SeaTunnel的Kafka消費者組自動提交偏移量邏輯錯誤修復 @zhangshenghang
  • [Hotfix][Zeta]修復EventReporter中的OkHttp連線洩漏問題 @hailin0

Improve

  • [Improve][Zeta]修復JobMaster重置應用類載入器兩次的問題 @Hisoka-X
  • [improve][Doc]新增引擎啟動引數說明 @MRYOG
  • [Improve][Doc]用表情符號修復Snowflake JDBC URL @Hisoka-X
  • [Improve][Engine]支援為名為submit-job的REST API自定義作業ID。 @dailai
  • [Feature][Elasticsearch]支援多表Sink寫入#7041 @CosmosNi
  • [Feature][Zeta]在提交任務時，為用於過濾工作的節點新增標籤。 @liunaijie
  • [Feature][Druid]支援DruidSink的多表寫入。 @TaoZex
  • [Improve][Transform-V2]移除對錶名的SQL查詢驗證 @Hisoka-X
  • [Improve][Connector-V2][MongoDB]支援將任何數值型別轉換為double @loustler
  • [Feature][Jdbc]支援紅shift後設資料目錄 @hailin0
  • [improve]刪除日誌以保護使用者隱私。 @chl-wxp
  • [Improve][File-Connector]支援將固定值/時間戳寫入Parquet的int96型別。 @hailin0
  • [Feature][Transforms]支援SQL中的is_date函式 @hailin0
  • [Feature][Transform-V2 Filter]在過濾轉換中支援排除列 @litiliu
  • [Improve]使ClickhouseFileSinker支援包含持久化列的表 @ddna1021
  • [Improve][Paimon]在寫入資料之前，檢查源和Sink之間的基本型別相容性。 @dailai
  • [Improve][Jdbc]引用表路徑的識別符號 @hailin0
  • [Improve]在客戶端新增自定義作業ID引數 @Hisoka-X
  • [Improve][Connector-V2]清理目錄表中的鍵名稱 @Hisoka-X
  • [Improve][Zeta]當任務FINISHED/CANCELED時，清理檢查點檔案。 @Hisoka-X
  • [Improve][File Connector]最佳化XML讀取程式碼並修復無法將布林選項設定為true的問題。 @EricJoy2048
  • [Improve][Connector-V2]最佳化Paimon的原始碼 @dailai
  • [Feature][RestAPI]新增概述API @liugddx
  • [Improve][Zeta]支援多個sink的空閒任務關閉 @hailin0
  • [Improve][Zeta]將SaveMode的行為移到主分支 @Hisoka-X
  • [Feature][Connector-V2]支援任何檔案的傳輸 @Hisoka-X
  • [ [Improve][Jdbc]sink SQL支援自定義欄位。(#6515) @rtyuy
  • [Feature][Connector]新增DruidSink聯結器 @TaoZex
  • [Improve][Connector-V2][Iceberg]為Apache SeaTunnel新增Hadoop S3目錄的端到端測試用例。 @4chicat
  • [Feature][doc][Connector-V2][Common]新增通用聯結器文件 @zhilinli123
  • [Feature][Connector-V2]新增華為雲OBS聯結器 @kim-up

Others

  • [E2E][HBase]重構HBase的端到端測試 @TaoZex
  • 缺少JDBCSink儲存模式情況下的引數#6458 @15810785091
  • [Paimon]支援Paimon源的投影 @TaoZex

apache/seatunnel-website倉庫

Others

  • [Teams]更新團佇列表 @liugddx
  • [Doc]新增SeaTunnel Web文件1.0.1版本 @Hisoka-X
  • [NOTICE]安全提示更新 @Hisoka-X
  • 請勿將ASF全範圍安全頁面的連結從選單中移除。 @raboof
  • 請從網站上移除Apache SeaTunnel的web URL連結。 @baicie
  • [Teams]更新團佇列表 @liugddx

apache/seatunnel-web倉庫

Fix

  • [Hotfix]修復MySQL JDBC（Starrocks/TiDB）上的任意檔案讀漏洞 @hailin0
  • [Hotfix]修復MySQL CDC中的任意檔案讀漏洞 @hailin0
  • [Hotfix]修復MySQL JDBC中的任意檔案讀漏洞 @hailin0
  • [Fix]從application.yml中移除secretKey @Hisoka-X

Others

  • 更新JWT.secretKey文件 @Hisoka-X
  • 使用mvn clean package解決Apache SeaTunnel中的TS問題 @somnmos

本文由 白鯨開源 提供釋出支援！

相關文章