11月 | Apache SeaTunnel月度進展總結

ApacheSeaTunnel發表於2024-12-05
Apache

各位熱愛 Apache SeaTunnel 的小夥伴們，社群10月份月報更新啦！這裡將記錄 SeaTunnel 社群每月的重要更新，歡迎關注！

月度Merge之星

感謝以下小夥伴 11 月份為 Apache SeaTunnel 所做的精彩貢獻（排名不分先後）：

file

使用者名稱 使用者名稱 使用者名稱 使用者名稱 使用者名稱
jwitq eyys CosmosNi boandai hailin0
arshadmohammad XuyiK XenosK Hisoka-X wengys
Carl-Zhou-CN zhdech davidzollo hawk9821 lm-ylj
shashwatsai corgy-w sunxiaojian zhangshenghang BilwaST
liunaijie a110q YOMO-Lee dailai

apache/seatunnel倉庫

fix

  • [Fix][Doc]修復備份計數配置 @corgy-w
  • [Fix][Doc]修復了無法訪問的連結 @corgy-w
  • [hotfix][gbase]修復gbase驅動連結 @zhangshenghang
  • [fix]修復獲取作業指標時出現的NPE問題 @liunaijie
  • [Hotfix][Transforms-v2]動態編譯外掛相容性修復 @hawk9821
  • [Fix][CI]耗時的模組最佳化 @hawk9821
  • [Hotfix][Docs]修正FAQ文件中的錯誤 @davidzollo
  • [hotfix][connector-v2][hive]修復Hive3端到端依賴項 @zhangshenghang
  • [Bug][connectors-v2]修復 MongoDB BSON 轉換異常 @hawk9821
  • [Fix][API]修復列長度不能過長的問題 @Hisoka-X
  • [Fix][CI]修復計劃測試被取消的功能 @Hisoka-X
  • [Hotfix][E2E]修復OracleCDCIT編譯錯誤 @hailin0
  • [Fix][Connecotr-V2]修復 ClickHouse Sink 不支援複合主鍵的問題 @eyys
  • [Fix][Doc]修復 Redis 中文文件中 key 描述錯誤 @lm-ylj
  • [Hotfix][Zeta]修復hadoop-aws和hive-exec中guava的依賴衝突 @dailai
  • [Fix][Zeta]移除重複的 LIFECYCLE_WRITER_CLOSE 事件 @Hisoka-X
  • [Fix][Zeta]修復作業客戶端即使作業已完成也會列印錯誤訊息的問題 @Hisoka-X
  • [Fix][Doc]修復 Klaviyo 文件中的 404 連結問題 @YOMO-Lee
  • [Fix][Zeta]修復在恢復一個管道時再次應用資源以用於另一個管道的問題 @zhangshenghang
  • [Bug][Connector-v2]MongoDB CDC 設定 SeatunnelRow 的 tableId @hawk9821
  • [Fix][Kafka]在Kafka流模式下，無法讀取增量資料。 關於Apache SeaTunnel的特定修復和功能，請保持原樣：- Fix in kafka streaming mode cannot read incremental data @Carl-Zhou-CN

improve

  • [Improve][Connector-V2]儲存資料時，如果模式儲存模式建立了新表，則執行資料儲存操作。 @zhangshenghang

  • [Improve]刪除未使用的程式碼 @hailin0

  • [Improve][Connector-V2]在多表Sink錯誤時新增表資訊。 @Hisoka-X

  • [improve][connector-v2][kafka-connector]新增Kafka Kerberos認證的端到端程式碼 @zhangshenghang

  • [Improve][Jdbc]改進DDL寫驗證 @hailin0

  • [Improve][Connector-V2]新增表啟用CDC的預檢查 @Hisoka-X

  • [Improve][Connector-V2]減少Iceberg載入表的請求數量 @Hisoka-X

  • [Improve][Kafka]支援自定義主題以相容 Debezium 格式 @hailin0

  • [Improve][doc]新增文件名稱檢查 @zhangshenghang

  • [Improve][dist]新增陰影檢查規則 @hawk9821

  • [Improve][Jdbc]重構DDL更改 @hailin0

  • [Feature][Jdbc]新增Jdbc預設方言以支援所有沒有方言的JDBC系列資料庫。 @sunxiaojian

  • [Improve][Excel]支援讀取空字串並自動型別轉換 @hailin0

  • [Feature][File]支援文字檔案讀取的配置為空格式 @hailin0

  • [Feature][E2E][Kerberos]端到端支援Kerberos @zhangshenghang

  • [Improve][API]統一tables_configs和table_list @hawk9821

  • [Improve]允許SeaTunnelRowType轉換為Column時可以為null @hailin0

  • [Feature][Iceberg]支援為 sink savemode 自定義刪除 SQL @hailin0

  • [Improve][Doc]在客戶端配置JVM選項方式修改 @Hisoka-X

  • [Improve][Connector-V2]修復 SqlServer cdc 記憶體洩漏 @Hisoka-X

  • [Improve][E2E]改進Druid端到端案例 @hawk9821

  • [Improve][Zeta]修復了與CI期間日誌刪除相關的問題。 @corgy-w

  • [Feature][Core]將 result_table_name/source_table_name 重新命名為 plugin_input/plugin_output @hailin0

  • [Improve][Transform]最佳化轉換結構 @corgy-w

  • [Improve][Zeta]移除預設的JVM記憶體選項 @Hisoka-X

  • [Improve][POM]將maven-shade-plugin的版本升級到3.4.1 @dailai

  • [Improve]改進 AlterTableSchemaEventHandler @hailin0

  • [Feature][Connector-v2]支援Paimon聯結器的S3檔案系統 @dailai

  • [Feature][E2E]新增端到端測試案例時間分析 @hawk9821

  • [Feature][Connectors]本地檔案支援讀取.gz檔案。 @zhdech

  • [Improve][Connector-V2]改進 MySQL-JDBC 中的列插入後的模式演化 @jw-itq

  • [Feature][Transform]SQL轉換支援陣列和分割函式。 @CosmosNi

  • [Feature][E2E]新增Hive3端到端測試案例 @zhangshenghang

  • [Feature][RestAPI]支援使用 SeaTunnel 風格的 HOCON 格式配置提交作業。 @CosmosNi

  • [Improve][CI]最佳化持續整合的時間成本 @Hisoka-X

  • [Improve][Connector-V2]RocketMQ Sink 新增訊息標籤配置 @wengys

  • [Feature] [Connector-Redis]Redis聯結器支援刪除資料。 @lm-ylj

  • [Feature][Zeta]在作業提交到master時增加jar路徑預檢查。 @zhangshenghang

  • [Feature][transform]轉換支援爆炸 @CosmosNi

  • [Feature][Connector-v2]支援Oracle聯結器的模式演變 @dailai

  • [Feature][Transform-v2]新增後設資料轉換功能 @hawk9821

  • [Feature][Connector-V2]Jdbc 分塊拆分新增快照拆分列配置 #7794 @XenosK

  • [Feature][Zeta]支援定期刪除日誌 @corgy-w

  • [Improve][Transform]自動使用 JSONPath 轉換標記列長度 @hailin0

  • [Feature][Transform-V2]支援多表轉換 @Hisoka-X

  • [Feature][Core]支援zeta的cdc任務DDL恢復功能 @hailin0

others

  • [doc][connector][hive]新增Hive中文文件 @zhangshenghang
  • [Doc][Format]新增protobuf文件 @zhangshenghang

apache/seatunnel-website倉庫

improve

  • [Improve]將公告欄更改為新增星號 @Hisoka-X

others

  • 修復關於.md中的翻譯錯誤 @XuyiK
  • 更新 jdbc-mysql.md @a110q

apache/seatunnel-web倉庫

fix

  • [Bug] [Seatunnel-web]未找到配置設定鍵 'where_c…ondition' 的配置。 @arshadmohammad
  • [Addendum][Bug] [Seatunnel-web]當條件列未在SE中使用時出現錯誤 @BilwaST
  • [Bug] [Seatunnel-web]當條件列未在SE...中使用時出現錯誤 @BilwaST
  • [Bug][Seatunnel-web]修復Oracle JDBC獲取表欄位的問題 @shashwatsai

本文由 白鯨開源 提供釋出支援！

相關文章