Apache SeaTunnel 4月回顧：明星貢獻者與技術突破

ApacheSeaTunnel發表於2024-05-08
Apache

各位熱愛 SeaTunnel 的小夥伴們，SeaTunnel 社群 4 月份月報來啦！這裡將記錄 SeaTunnel 社群每月的重要更新，歡迎關注！

月度 Merge 之星

感謝以下小夥伴 4 月為 Apache SeaTunnel 做的精彩貢獻（排名不分先後）：

file

@TyrantLucifer,@sunxiaojian,@CosmosNi,@corgy-w,@litiliu,@LeonYoah,@hailin0,@taohaozhi1129,@L-Gryps,@Hisoka-X,@xiaochen-zhou,@shangeyao,@lightzhao,@haneeshmv,@liunaijie,@nianhua99,@dailai,@dzygoon,@ruanwenjun,@xxzuo,@liugddx,@EricJoy2048,@baicie,@YalikWang,@gitfortian

apache/seatunnel

fix

  • [fix][doc]修復死鏈 @liunaijie
  • [fix][zeta]修復無法釋放資源的問題 @liunaijie
  • [Fix]修復Oracle型別轉換器在數值型別中處理負數比例的問題 @Hisoka-X
  • [Bug Fix]將Doris的錯誤狀態(#6753)記錄下來。 @taohaozhi1129
  • [bigfix][S3 File]:Change the [SCHEMA] attribute of the [S3CONF class]為了在反序列化後避免重新賦值，需要使其非靜態 @LeonYoah
  • [Hotfix][S3 Connector]將aws-java-sdk-bundle的版本更新以修復任務無法執行的問題。 @EricJoy2048
  • [Fix][Script]修復 JVM 選項檔案末尾沒有\n時丟失 JVM 選項的問題 @Hisoka-X
  • [fix]修復SeaTunnel獲取row size時的NPE問題 @liunaijie
  • [Fix][Connector-v2]修復 Doris 和 StarRocks 資料庫中建立表的 SQL 語句錯誤 @dailai
  • [Fix][Doc]修復了一些文件中的連結 @xxzuo
  • [Fix][connector-rocketmq]將正確的偏移量提交給broker，並減少ThreadInterruptedException日誌 @YalikWang
  • [Fix][Kafka-Sink]修復Apache SeaTunnel KafkaSinkFactory選項規則 @liunaijie
  • [Fix][Doc]修復一些拼寫錯誤 @xiaochen-zhou
  • [Fix][Doc]修復FTPSink配置鍵username為user。 @Hisoka-X
  • [fix][connector-rocketmq]修復了當checkpoint.interval設定過小時引發的空指標異常問題(#6624) @YalikWang
  • [Hotfix]修復了Apache SeaTunnel中HTTP源讀取yyyy-MM-dd HH:mm:ss格式資料的bug，並最佳化了DateTimeUtils。 @EricJoy2048
  • [Bug] [formats]修復當內容包含檔案分隔符時解析行失敗的問題 @litiliu
  • [Fix][Connector-V2]修復當分割槽已存在時，Apache SeaTunnel增加Hive分割槽的錯誤 @Hisoka-X
  • [Fix][Zeta]解決因儲存點檢查機制導致的執行緒掛起問題 @Hisoka-X
  • [Bug]修復OrcWriteStrategy/ParquetWriteStrategy在使用Kerberos身份驗證時的登入問題。 @ruanwenjun
  • [Bug][Improve][Connector-v2][ElasticsearchSource]修復當源為空時的行為，支援SourceConfig.SOURCE欄位為空。 @CosmosNi
  • [Hotfix]解決 DEFAULT TABLE 問題 @EricJoy2048

improve

  • [Improve][Zeta]為Zeta任務新增Minio作為檢查點儲存的文件 @gitfortian
  • [Improve] [Clickhouse]當設定allow_experimental_lightweight_delete為false時，移除檢查 (#6727) @shangeyao
  • [Improve][HiveSink]修復資源洩漏的風險。 @lightzhao
  • [Improve][Zeta]禁用Apache SeaTunnel檢查點的HDFS檔案系統快取。 @LeonYoah
  • [Doc][Improvement]為Config-Encryption-Decryption.md新增中文支援 @xxzuo
  • [Doc][Improve]介紹文件中的多行文字功能 @nianhua99
  • [Feature][connector-v2]啟用了Iceberg-sink模式變更測試 @sunxiaojian
  • [Improve][mysql-cdc/jdbc]支援MySQL 5.5版本 @hailin0
  • [Improve]最佳化CDC聯結器中的表架構讀取 @Hisoka-X
  • [Improve][mysql-cdc]當SHOW CREATE TABLE命令失敗時，回退到描述表 @hailin0
  • [Improve][Hive]更新Hive 3版本 @EricJoy2048
  • [Feature][Connector-V2]冰山sink支援將資料寫入分支 @sunxiaojian
  • [Improve][Transform]移除找不到欄位異常 @xiaochen-zhou
  • [Feature][Zeta]在作業配置中支援配置任務重試次數。 @Hisoka-X
  • [Improve]最佳化Doris流載入客戶端側的錯誤資訊 @Hisoka-X
  • [Improve]最佳化Parquet型別轉換時的讀取效能 @Hisoka-X
  • [Improve][Zeta]當任務完成後，檢查點將不會寫入檔案。 @liunaijie
  • [Improve][Jdbc]在SQL中新增引號識別符號 @hailin0
  • [Improve][Zeta]最佳化RestHttpGetCommandProcessor#getSeaTunnelServer()方法的邏輯 @xiaochen-zhou
  • [Doc][Improve]Sink部分支援中文 @corgy-w
  • [Doc][Improve]為Kafka聯結器新增Kerberos身份驗證支援 (#6653) @gitfortian
  • [Doc][Improve]為seatunnel-engine新增中文支援 @xxzuo
  • [Improve][Connector-v2]Hive聯結器支援多個檔案系統。 @dailai
  • [Improve][Transform]移除解析轉換過程中的Fallback @xiaochen-zhou
  • [Feature][Tool]為問題6199新增聯結器檢查指令碼 @dailai
  • [Feature][CDC]在cdc資料來源中支援監聽訊息延遲事件。 @hailin0
  • [Improve][Test]修復ResourceManager和EventReport模組上測試的不穩定問題。 @Hisoka-X
  • [Improve][Jdbc]在自動建立表時增加型別轉換器 @hailin0
  • [Improve][Connector-V2]支援PaimonSink的Hadoop HA和Kerberos認證。 @dailai
  • [Improve][CDC]當記錄不包含模式欄位時，提升讀取效能。 @Hisoka-X
  • [feature][connector-v2]新增xugudb聯結器 @L-Gryps
  • [Improve][CDC]在增量階段最佳化split狀態的記憶體分配 @hailin0
  • [Improve][Zeta][storage]更新HDFS配置，支援更多引數 @liunaijie
  • [Doc][Improve]為start-v2/locally/quick-start-flink.md和start-v2/locally/quick-start-spark.md新增中文支援。 @dzygoon
  • [Feature][starter]支援在Spark/Flink引擎上使用者自定義引數。 @liunaijie
  • [Feature]Hive源/ sink支援多個表。 @ruanwenjun

others

  • [Chore]刪除無用的介面 @TyrantLucifer
  • 2.3.5版本釋出 @liugddx
  • [Release][2.3.5][release-note]新增發布說明 @liugddx
  • [Docs]更新Debezium JSON文件 @liunaijie
  • [E2E]修復Amazon DynamoDB IT的不穩定問題 @hailin0
  • [Docs]修復Kafka格式文件 @liunaijie
  • [E2E]啟用StarRocksCDCSinkIT @liunaijie

apache/seatunnel-website

  • [Docs]更新並支援選擇語言 @baicie

apache/seatunnel-web

  • [feature][datasource]主要新增資料來源-jdbc-db2 @haneeshmv

本文由 白鯨開源 提供釋出支援！

相關文章