Apache SeaTunnel 9月份社群發展記錄

ApacheSeaTunnel發表於2024-10-09
Apache

各位熱愛 SeaTunnel 的小夥伴們，9月份社群月報來啦！這裡將定期更新SeaTunnel社群每個月的重大進展，歡迎關注！

月度Merge Stars

感謝以下小夥伴上個月為 Apache SeaTunnel 做的精彩貢獻（排名不分先後）：

file

@ZhangWeike2000,@wuchunfu,@chl-wxp,@hawk9821,@happyboy1024,@jiamin13579,@CosmosNi,@EricJoy2048,@arshadmohammad,@liunaijie,@sunxiaojian,@BilwaST,@PeppaPage,@hailin0,@FuYouJ,@loustler,@corgy-w,@Zuhdan,@Carl-Zhou-CN,@Cheun99,@Hisoka-X,@zhangshenghang,@dailai,@liugddx

apache/seatunnel倉庫

fix

  • [hotfix]修復Docker映象構建指令碼 @liunaijie
  • [Fix]調整Docker映象釋出設定 @liunaijie
  • [Fix][Zeta]如果Zeta不是TCP發現的一部分，它將無法找到其他成員 @loustler
  • [Fix][CI]在提交PR時，修復CI損失文件檢查問題 @Hisoka-X
  • [Hotfix][ci]修復GitHub CI許可證頭部錯誤 @hawk9821
  • [ [Fix][Connector-V2]使用 JDK 11 時，遇到錯誤 "package sun.security.krb5 does not exist" 並嘗試修復 Iceberg 的問題。 ]( https://github.com/apache/seatunnel/pull/7734 " [Fix][Connector-V2]使用 JDK 11 時，遇到錯誤 "package sun.security.krb5 does not exist" 並嘗試修復 Iceberg 的問題。 ") @sunxiaojian
  • [Hotfix][Connector-V2]在冰川sinkwriter的任務關閉時釋放資源 @dailai
  • [Fix][Connecotr-V2]修復Paimon動態桶表在主鍵中不是第一項 @hawk9821
  • [Hotfix][Connector-V2]即使任務崩潰，也要釋放Paimon目標相關的資源 @dailai
  • [Fix][Connector-V2]修復Paimon的端到端錯誤 @hawk9821
  • [ [Fix][CI]為了解決CI錯誤，請新增文件同步。請注意，Apache SeaTunnel的"fix"和"feature"保持不變，不進行翻譯。 ]( https://github.com/apache/seatunnel/pull/7720 " [Fix][CI]為了解決CI錯誤，請新增文件同步。請注意，Apache SeaTunnel的"fix"和"feature"保持不變，不進行翻譯。 ") @zhangshenghang
  • [Fix][Connector-V2]修復HTTP源無法讀取流 @CosmosNi
  • [Fix][Connector-V2]修復已知的目錄建立和刪除忽略問題 @corgy-w
  • [Fix][Connector-V2]修復JDBC測試用例失敗 @Hisoka-X
  • [Hotfix][Core]修復MultiTableSink#PrepareCommit時的併發異常 @hailin0
  • [Fix][Connector-V2]關於Apache SeaTunnel的Iceberg sink修復無法處理大寫欄位 @sunxiaojian
  • [Fix][Connector-V2]修復某些可丟擲異常未被捕獲的問題 @Hisoka-X
  • [Fix][Connector-v2]在JdbcCatalog的SQL查詢中，對於表或資料庫存在查詢時丟擲異常 @dailai
  • [Hotfix][CDC]在配置multi_table_sink_replica時，修復DDL重複執行錯誤 @hailin0
  • [Fix]修復Oracle查詢表，將'char'改為'varchar'長度 @chl-wxp
  • [Fix][Transforms-V2]修復LLM轉換無法解析布林值型別 @hawk9821
  • [Hotfix]修復Iceberg在建立表時缺失列註釋的問題 @hailin0
  • [Fix][Document]修正PostgreSQL-CDC文件中的拼寫錯誤 @Zuhdan
  • [Fix][Common]修復Paimon 沉澱時的CommonError訊息 @dailai
  • [Hotfix][Connector-v2]修復connector-mongodb中的ClassCastException @dailai
  • [Fix][JDBC]解決Starrocks JDBC方言目錄與Starrocks聯結器之間的衝突 @liunaijie
  • [Fix][Test]修復FixSlotResourceTest不穩定的問題 @liunaijie
  • [Fix][E2E]遠端載入驅動程式忽略了證書 @hawk9821
  • [Fix][Document]修復文件構建錯誤 @Hisoka-X
  • [Hotfix][Connector-v2]修復jdbc oracle中使用table_list時出現的NullPointerException。 @dailai

improve

  • [Improve][E2E]將Doris映象更新至官方版本 @hawk9821
  • [Improve][Spark]將陣列型別轉換為精確型別 @corgy-w
  • [Improve][Connector-v2]移除無用的程式碼，併為paimon 沉澱新增變更日誌文件。 @dailai
  • [Improve][doc]最佳化startrocks sink文件 @jiamin13579
  • [Improve][Doc]將日誌新增到sidebars.js @Hisoka-X
  • [Improve][Docs]為流式模式的Doris源新增調優指南 @dailai
  • [Improve][Doc]最佳化引擎部署文件，針對跳過部署客戶端 @Hisoka-X
  • [Improve][Doc]Apache SeaTunnel 使用文件更新 @Carl-Zhou-CN
  • [Improve][CI]將paimon移入單一任務 @Hisoka-X
  • [Improve][Transform]最佳化內部SQL查詢以適應對映欄位型別 @liunaijie
  • [Improve][Zeta]為嘗試觸發待檢查點時記錄日誌，因為伺服器的時間可能出錯。 @dailai
  • [Improve][Connector-V2]最佳化SQLServer包結構 @corgy-w
  • [Feature][Flink]支援多張表的讀取和寫入 @PeppaPage
  • [Feature][Zeta][Core]支援作業輸出日誌檔案 @hailin0
  • [Improve][Doc]新增一些聯結器圖示 @zhangshenghang
  • [Improve][Core]配置變數更新文件和新增測試案例 @zhangshenghang
  • [Feature][Connector-V2]SQL Server 支援使用者自定義型別 @Hisoka-X
  • [Improve][doc]修復Hive sink文件 @jiamin13579
  • [Improve][Connector-V2]最佳化milvus程式碼 @corgy-w
  • [Feature][Connector-V2]斷言支援多表檢查 @Hisoka-X
  • [Feature][Connector-v2]支援Paimon的流式讀取 @dailai
  • [Feature][Connector-V2]關於Apache SeaTunnel的JDBC SAP HANA源表路徑支援檢視和同義詞 @chl-wxp
  • [Feature][Connector-V2]SFTP檔案匯支援多表儲存及模式 @chl-wxp
  • [improve][Redis]Redis scan 命令支援的版本包括5、6、7。 @FuYouJ
  • [Feature][Connector-V2]FTP檔案匯支援多個表和儲存模式 @chl-wxp
  • [Feature][Connector-V2]最佳化Hudi 沉澱 @happyboy1024
  • [Improve] [Connector-V2]最佳化milvus-connector配置程式碼 @corgy-w
  • [Improve][Jdbc]對於 Jdbc 的 truncate table 操作，應該檢查的是表而不是資料庫。 @Hisoka-X
  • [Feature][Rest Api]額外的REST API文件。 @liugddx
  • [Improve][Iceberg]新增savemode建立表主鍵測試案例 @hailin0
  • [Feature][Transforms-V2]LLM 轉換支援自定義欄位名稱 @hawk9821
  • [Improve][Connector-V2]時間支援預設值 @corgy-w
  • [Improve][Connector-V2]支援讀取歸檔壓縮檔案 @corgy-w
  • [Improve][Document]重構作業環境配置文件 @Hisoka-X
  • [Feature][Transforms-V2]LLM 轉換支援 KimiAI @hawk9821
  • [Improve][Doc]為MySQL-CDC模式新增文件說明 @dailai
  • [Improve][Document]為作業配置檔案字尾新增提醒 @Hisoka-X
  • [Improve][doc]修復的遙測文件 @corgy-w
  • [Feature][Transforms-V2]LLM轉支援欄位投影 @hawk9821
  • [Feature][REST-API]新增threaddump rest api @liugddx
  • [Feature][Core]取消任務批處理命令 @zhangshenghang
  • [Improve][Docs]資源隔離 新增 更新 節點標籤 連結 @Cheun99
  • [Feature][kafka]為間隔輪詢訊息新增引數 arg poll.timeout @CosmosNi
  • [Feature][rest-api]是否新增主節點識別符號 @liugddx
  • [Improve][Transform-v2]重構一個從FilterFieldTransform來的transformRow @loustler
  • [Improve][Docs]在sql-config中為一個關鍵詞新增使用方法 @dailai
  • [Improve][Connector-V2]Flink 支援嵌入式轉換 @corgy-w
  • [Improve][Transform]LLM 轉換支援 Doubao @corgy-w
  • [Improve][Zeta]拆分任務組的類載入器 @Hisoka-X
  • [Improve][Test][Connector-V2][MongoDB]為BsonToRowDataConverters新增幾個測試用例 @loustler
  • [Improve][Document]更新jar下載連結和側邊欄格式 @Hisoka-X
  • [Improve][Connector-V2][MongoDB]一個BsonInt32將被轉換為long型別 @loustler
  • [Feature][zeta]支援透過Prometheus exporter協議暴露監控指標 @corgy-w
  • [Feature]支援配置變數替換，具有預設值 @zhangshenghang
  • [Feature][Connector-V2]Apache SeaTunnel Paimon Sink 支援清空表 @hawk9821
  • [Improve][Connector-v2]針對Paimon 沉澱，在大小寫敏感情況下最佳化異常訊息 @dailai
  • [Improve][Document]最佳化快速開始和從原始碼構建 @Hisoka-X
  • [Feature][Zeta]為節點新增REST API以更新標籤 @Cheun99
  • [Feature][Transform]新增嵌入式轉換 @corgy-w
  • [Improve][Transform]在jsonpath轉換中支援errorHandleWay @hailin0
  • [Feature][Connector-V2][Hbase]實現HBase目錄 @zhangshenghang
  • [Feature][Elastic search]支援多表源特性 @FuYouJ
  • [Feature][Zeta]支援slf4j mdc跟蹤作業ID輸出到日誌 @hailin0
  • [Feature][Connector-V2]支援TiDB CDC聯結器源 @sunxiaojian

others

  • [Docs]更新 動態編譯 文件 @liunaijie
  • [Doc]修復文件符號轉義錯誤 @zhangshenghang
  • [Chore]程式碼規範調整 @ZhangWeike2000
  • [Chore]在zeta示例日誌中輸出job-id @hailin0
  • [Docs][kafka]新增kafka protobuf文件 @zhangshenghang
  • [Docs]新增Docker叢集指南 @liunaijie

apache/seatunnel

improve

  • [Feature][Connector-Paimon]支援動態桶劃分提升Paimon寫入效率 @hawk9821
  • [Improve][EventService]改進事件程式碼並將事件程式碼提取到EventService @EricJoy2048
  • [Improve][Kafka]Apache SeaTunnel 的 Kafka 源重構了一些讀者的讀取邏輯 @Carl-Zhou-CN

apache/seatunnel-website倉庫

fix

  • [Fix]無法匯入圖示 @Hisoka-X
  • [Fix]在使用深色模式時，修復團隊標題難以注意到 @Hisoka-X
  • [Fix]在使用深色模式時，修復團隊標題難以注意到 @Hisoka-X

improve

  • [Improve]更新favicon.ico @Hisoka-X
  • [Improve]支援深色模式 @Hisoka-X
  • [Improve]移除導師標籤，因為SeaTunnel屬於TLP。 @Hisoka-X

others

  • 新增文件卡片 @zhangshenghang

apache/seatunnel-web倉庫

fix

  • [Bug][Seatunnel-web][DB2]由於不正確地使用資料庫和模式名稱，DB2 資料來源失敗。 @arshadmohammad
  • [Bug][Seatunnel-web][Hive]在嘗試使用Hive聯結器儲存作業時發生了錯誤。 @arshadmohammad
  • [Bug] [Seatunnel-web][Hive]在配置Hive源時，Hive資料來源沒有出現在UI中。 @arshadmohammad
  • [Bug] [Seatunnel-web] [Metrics]從seatunnel-engine獲取指標時出現NPE。 @arshadmohammad
  • [Bug][Seatunnel-web]任務例項過濾器沒有按預期工作 @arshadmohammad
  • [Bug] [Seatunnel-web]作業模式是硬編碼的，作業建立API始終建立BATCH作業 @arshadmohammad
  • [ [Bug] [Seatunnel-web]當傳遞作業模式時，"/seatunnel/api/v1/job/definition" 的 GET 請求失敗。 ]( https://github.com/apache/seatunnel-web/pull/201 " [Bug] [Seatunnel-web]當傳遞作業模式時，"/seatunnel/api/v1/job/definition" 的 GET 請求失敗。 ") @arshadmohammad
  • [Bug] [Seatunnel-web]Apache SeaTunnel的作業例項刪除功能無法正常使用 @arshadmohammad

improve

  • [Improvement][Seatunnel-web]在整合測試中支援H2資料庫 @arshadmohammad
  • [Improvement][Seatunnel-web][Hive-JDBC]將Hive-JDBC新增到seatunnel-web @arshadmohammad
  • [Improvement][Seatunnel-web]將包com.whaleops.datasource重新命名為org.apache.seatunnel @arshadmohammad
  • [Improve][SeaTunnel-Web]統一使用JSONUtils @wuchunfu
  • [Improve][SeaTunnel-Web]統一版本 @wuchunfu
  • [Improve][SeaTunnel-Web]將JobMode和EngineType更改為列舉型別以避免硬編碼 @wuchunfu
  • [Improvement][Seatunnel-web]dom4j-1.6.1.jar存在多個CVE，更新… @BilwaST
  • [Feature][Seatunnel-web]在作業配置中新增支援，可以配置佔位符並設定預設值。 @arshadmohammad
  • [Improve]為版本2.3.8更新README.md @Hisoka-X
  • [Improve][SeaTunnel-Web]將JobStatus轉換為列舉型別以避免硬編碼 @wuchunfu
  • [Improvement] [Seatunnel-web]velocity-1.7.jar存在多個CVE漏洞，升級所有依賴此元件的maven外掛。 @arshadmohammad

本文由 白鯨開源 提供釋出支援！

相關文章