7-8月月報 | Apache SeaTunnel社群進展一覽

ApacheSeaTunnel發表於2024-09-03
Apache

各位熱愛 Apache SeaTunnel 的小夥伴們，社群 7-8 月份月報來啦！這兩個月專案有了哪些進展？又有誰登上了我們社群的貢獻者榜單呢？快來一睹為快吧。

Merge Stars

感謝以下小夥伴上兩個月為 Apache SeaTunnel 專案和社群發展所做的精彩貢獻（排名不分先後）：

file

@Hisoka-X,@xxsc0529,@arshadmohammad,@TyrantLucifer,@ZhangWeike2000,@loustler,@Carl-Zhou-CN,@wuchunfu,@Gxinge,@cl0924,@alextinng,@chl-wxp,@chenqianwen,@jackyyyyyssss,@yujian225,@virvle,@kevinjmh,@corgy-w,@baicie,@liunaijie,@hawk9821,@Anush008,@zhilinli123,@OswinWu,@zhangm365,@ISADBA,@luzongzhu,@tcodehuber,@liugddx,@litiliu,@dependabot[bot],@Thomas-HuWei,@Xuzhengz,@Wudadada,@MRYOG,@latch890727,@jw-itq,@BruceWong96,@panpan2019,@XIAOKUOAIyang,@cloud456,@hailin0,@Vonng,@zhangshenghang,@whhe,@dailai,@zqr10159,@SachinS10-lab,@EricJoy2048,@XenosK,@Asura7969,@zhouhoo,@chaos-cn,@FlechazoW,@asapekia,@BilwaST,@bingquanzhao,@FuYouJ

apache/seatunnel倉庫

修復

  • [Fix][E2E]將gbase驅動程式版本更改為解決證書過期問題 @hawk9821
  • [Hotfix][Connector-V2]修復了Paimon目標中decimal資料型別的小數精度問題 @dailai
  • [Fix][doc]修復失效連結 @corgy-w
  • [Hotfix][Connector-V2]修復ES中未插入null的問題 @corgy-w
  • [Fix][Core]修復當配置值為null時出現的NPE @hawk9821
  • [Fix][Connector-V2]修復jdbc查詢sql無法獲取表路徑 @corgy-w
  • [Fix][Zeta]在多節點環境下，資源隔離的修復未起作用。 @chenqianwen
  • [Hotfix][Metrics]修復間歇性的多指標持續整合 @corgy-w
  • [Fixbug]Doris自定義SQL工作 @zhangshenghang
  • [Fix]修復seatunnel聯結器列表URL中的死鏈 @Hisoka-X
  • [FIX][E2E]將OceanBase測試用例更新到最新的imageChange image @xxsc0529
  • [Fix][Seatunnel-core]修復Windows執行指令碼中的語法錯誤 @cl0924
  • [Hotfix][MySQL-CDC]修正包名拼寫錯誤 @ISADBA
  • [ Revert "[Fix][Connector-V2]修復 Doris 主鍵順序和欄位順序不一致的問題("#7377") ]( https://github.com/apache/seatunnel/pull/7402 " Revert "[Fix][Connector-V2]修復 Doris 主鍵順序和欄位順序不一致的問題("#7377") ") @Hisoka-X
  • [Hotfix][MySQL-CDC]修復MySQL二進位制日誌讀取時的ArrayIndexOutOfBoundsException @hailin0
  • [Bugfix][Doris-connector]修復Json序列化問題，空值導致資料錯誤。 @liugddx
  • [Fix][Connector-V2]修復 Doris 主鍵順序和欄位順序不一致的問題 @Hisoka-X
  • [Hotfix][Connector]修復JDBC編譯錯誤 @hailin0
  • [Fix][Zeta]修復任務無法結束，原因可能是鎖定度量失敗 @Hisoka-X
  • [Fix]修復http e2e案例 @jackyyyyyssss
  • [Fix]修復Oracle示例資料中列錯誤 @Hisoka-X
  • [FIX][SFTP]修復sftp sink文件中的使用者名稱引數錯誤 @wuchunfu
  • [Fix][Doris]修復CDC場景中資料刪除的異常問題。 @liugddx
  • [Hotfix][Connector]修復Kafka消費者下一次啟動時的日誌偏移量 @hailin0
  • [Fix][Connector-V2][OceanBase]移除OceanBase目錄對mysql驅動的依賴 @xxsc0529
  • [Fix][Doc]修復 miss sink-options-placeholders.md 在側邊欄中 @Hisoka-X
  • [Fix][Doc]修復混合叢集部署文件顯示錯誤 @Hisoka-X
  • [Hotfix][Zeta]當系統繁忙時，無法停止修復任務 @hailin0
  • [Hotfix][Zeta]當系統繁忙時，無法停止修復任務 @hailin0
  • [Fix][Connector-V2]修復Doris TRANSFER_ENCODING頭部錯誤 @liugddx
  • [Fix][Dist]在釋出包中移除aws jar依賴 @Hisoka-X
    • [Hotfix][Zeta]修復任務組失敗日誌丟失 @EricJoy2048
  • [Fix][Zeta]修復釋出槽資源兩次 @Hisoka-X
  • [Fix][Zeta]在初始化時，混合部署模式無法獲取工作節點 @Hisoka-X
  • [Fix][Connector kafka]修復Kafka消費者在TM節點重啟後停止獲取資料的問題 @litiliu
  • [Fix][E2E]修復類載入器數量 @jackyyyyyssss
  • [HotFix] [Remote Debug]描述 當遠端除錯啟用時，Seatunel 伺服器的5801埠未能正確監聽 @hawk9821
  • [Fix][Connector-V2][Maxcompute]修復Maxcompute 沉澱無法對映欄位的問題 @panpan2019
  • [Fix][Connector-V2]修復Hana型別轉換器的十進位制小數位數為0時轉換為整數錯誤 @Hisoka-X
  • [Bugfix][RestApi]修復hazelcast/rest/maps/submit-job返回錯誤的jobId @liugddx
  • [hotfix][connector-v2-hbase]修復並最佳化HBase源問題 @zhangshenghang
  • [Fix][Connector-V2]修復Kafka批處理模式無法讀取所有訊息 @Hisoka-X
  • [Fix][Connector-V2][Elasticsearch]修復DROP_DATA資料sink配置 @Wudadada
  • [bugFix][Connector-V2][CDC]Apache SeaTunnelRowDebeziumDeserializationConverters NPE @Asura7969
  • [Hotfix][connector-v2-rabbit]修復Rabbit檢查點異常在Flink模式下 @zhangshenghang
  • [Hotfix][Zeta]修復批次任務在重試後無法停止 @hailin0
  • [Hotfix][Hive Connector]修復Hive的hdfs-site.xml和hive-site.xml檔案，以解決載入錯誤 @EricJoy2048
  • [Fix][Flink-starter]Apache SeaTunnel的Flink檢查點預設值的熱修復 @zhangshenghang
  • [Fix][Zeta]修復env jars在zeta上無法執行 @Hisoka-X
  • [fix] [connector-tdengine]在連線到Taos並讀取資料時，解決SQL異常和併發修改異常 @alextinng

最佳化

  • [Improve][Connector-v2]在JDBC的executeBatch執行過程中發生異常時，即使在closeStatements中釋放資源。 @dailai
  • [Improve][Connector-v2]支援MySQL 8.1/8.2/8.3的JDBC @dailai
  • [Feature][Core]為批處理開始和停止新增了rest-api @zhangshenghang
  • [Improve][Test]移除S3Utils中的無用程式碼。 @FlechazoW
  • [Improve][Document]修復paimon.apache.org死鏈 @FuYouJ
  • [Improve][Connector-V2]仿冒支援列配置 @corgy-w
  • [Feature][Core]為所有聯結器新增事件通知 @zhangshenghang
  • [Improve][Connector-V2]移除硬編碼的Iceberg表格式版本 @Hisoka-X
  • [Improve]更新Docker文件並構建標籤 @Hisoka-X
  • [Feature][Connector-V2][Tablestore]支援Tablestore的Source聯結器 #7448 @cloud456
  • [Improve]改進一些聯結器，準備檢查錯誤訊息 @zhangshenghang
  • [Feature][Connector-V2]在jdbc中新增decimal_type_narrowing選項 @Hisoka-X
  • [Improve]新增了OSSFileCatalog及其工廠 @loustler
  • [Improve]重構S3FileCatalog及其工廠 @loustler
  • [Feature][Connector-V2]支援Typesense聯結器 @zhangshenghang
  • [Improve][Connector-V2]更新向量型別 @corgy-w
  • [Improve][API]新增 IGNORE savemode 型別 @jw-itq
  • [Improve][API]將catalog open移動到SaveModeHandler @Hisoka-X
  • [Improve]將快照版本更新到2.3.8 @wuchunfu
  • [Feature][Connector-V2]支援opengauss-cdc @dailai
  • [Improve][Doc]更新文件結構 @Hisoka-X
  • [Feature][Connector-V2]假源支援生成向量資料 @corgy-w
  • [Improve][Connector-V2]移除系統表限制 @Hisoka-X
  • [Improve][Connector-V2]使用完畢後關閉所有ResultSet @Hisoka-X
  • [Improve][Document]更新指南並新增示例 @yujian225
  • [Improve]更新pull請求模板和github動作指南 @Hisoka-X
  • [Feature][Connector-V2][OceanBase]OceanBase上的支援向量型別 @xxsc0529
  • [Improve]在安裝外掛時，跳過下載傳遞依賴項 @kevinjmh
  • [Improve][Connector-V2]支援多表sink特性用於郵件 @corgy-w
  • [Improve][Document]在setup.md中更改廢棄的聯結器名稱 @Hisoka-X
  • [Feature][Rabbitmq]允許配置佇列永續性和刪除策略 @zqr10159
  • [Feature][connector-v2]新增Kafka Protobuf資料解析支援 @zhangshenghang
  • [Improve][Connector]新增多表sink選項檢查 @hailin0
  • [Improve][API]在傳送到下游之前，請檢查目錄表欄位名稱是否合法 @Hisoka-X
  • [Improve][Connector-V2][Console]將現有規則新增到optionRule中 @chaos-cn
  • [Feature][Connector-V2]新增阿里雲SLS聯結器 #3733 @XenosK
  • [Feature]新增Dockerfile @liunaijie
  • [Improve][Connector-V2]最佳化 Doris 錯誤訊息 @Hisoka-X
  • [Improve][Connector-V2]在StarRocksCatalog中重用連線 @Hisoka-X
  • [Feature][Zeta]增加了多表的其他度量資訊 @corgy-w
  • [Improve][Connector-V2][Jdbc]移除JdbcDialect中的MysqlType引用 @whhe
  • [Improve][E2E]支援Paimon的端到端（e2e）中的Windows @hawk9821
  • [Improve][Transform]最佳化DynamicCompile轉換 @jackyyyyyssss
  • [Improve][Jdbc]在建立表時合併使用者配置主鍵 @hailin0
  • [Improve]將快照版本更新至2.3.7 @Hisoka-X
  • [Feature][Transform]新增LLM轉換 @Hisoka-X
  • [Feature][Connector-V2]支援Qdrant沉澱和源聯結器 @Anush008
  • [Improve][SQL-Transform]從輸出欄位中移除轉義識別符號 @hailin0
  • [Improvement]JDBC支援方言名稱，用於選擇方言。 @liunaijie
  • [Improve][Jdbc]在自動建立表時，跳過所有索引以提高寫入效能 @dailai
  • [Feature][Transforms]SQL中將支援的cast到位元組函式 @hailin0
  • [Feature][Spark]支援多表讀取和寫入 @Carl-Zhou-CN
  • [Improve]最佳化doris jar中的thrift shade包 @luzongzhu
  • [Improve][Core]基於外掛名稱改進查詢策略基礎 @corgy-w
  • [Improve][Transform]最佳化DynamicCompile轉換 @jackyyyyyssss
  • [Feature][Jdbc]支援Hive相容模式新增Inceptor方言 @Xuzhengz
  • [Improve][Connector-v2]最佳化資料庫和表的存在性檢查方式 @dailai
  • [Improve][API]確保TablePath中的表名不為null @Hisoka-X
  • [Feature] [Activemq]新增了activemq 沉澱 @asapekia
  • [Improve][Connector-v2]最佳化jdbc-oracle和oracle-cdc的計數錶行 @dailai
  • [Improve][Zeta]處理使用者隱私當提交任務列印配置日誌時 @hawk9821
  • [Feature][Connector-V2][Iceberg]支援Iceberg Kerberos @luzongzhu
  • [Improve][Core]將MultiTableSink移至seatunnel-api模組 @Hisoka-X
  • [Improve][Connector-V2]為paimon欄位新增可為空屬性 @hawk9821
  • [Improve][Doris Connector]統一序列化方法，使用RowToJsonConverter和TextSerializationSchema @liugddx
  • [Feature]將轉換拆分並移入聯結器目錄的jar包 @liunaijie
  • [Feature][Zeta]在多表模式下新增了表統計的度量資訊 @hawk9821
  • [Improve][Hive]在出現異常時關閉資源 @hailin0
  • [Improve][Restapi]在監控資訊中新增ip和埠 @liugddx
  • [Improve][CI]將milvus新增到標籤 @Hisoka-X
  • [Improve]在無法解析datetime值時，改進錯誤訊息 @Hisoka-X
  • [Feature][Connector-V2]支援選擇在HTTP分頁中開始的頁面 @Gxinge
  • [Improve][Jdbc]在catalog-table選項中移除使用者資訊 @hailin0
  • [Improve][CI]新增自動標籤動作 @Hisoka-X
  • [Feature][RestAPI]概覽支援標籤篩選 @liunaijie
  • [Feature][Transform]動態編譯新增轉換 @jackyyyyyssss
  • [Feature][Connector-V2]支援HBase的多表sink特性 @BruceWong96
  • [Improve][Jdbc]支援將Unicode文字寫入SQLServer @hailin0
  • [Feature][Connector-V2][Milvus]支援Milvus資料來源與sink @Thomas-HuWei
  • [Improve][connector-v2-jdbc-mysql]為MySQL 8.4新增支援 @wuchunfu
  • [Feature][Connector-V2][Clickhouse]將clickhouse.config新增到源聯結器 @loustler
  • [Improve][Jdbc]將catalog table log更改為debug級別 @Hisoka-X
  • [Feature][Core]支援在sink選項中使用上游表佔位符，並自動替換 @hailin0
  • [Feature][Core]為動態自定義引數新增一個測試案例 @liugddx
  • [feature][connector-v2-hbase-sink]支援Connector v2 HBasesink的TTL資料寫入 @zhangshenghang
  • [Improve][Document]在Postgre-CDC.md檔案中將Postgre修復為PostgreSQL @Vonng
  • [Improve]修復plugin_config @hailin0
  • [Feature] [Github CI]模組反覆執行 @hawk9821
  • [Improve][Redis]關於Apache SeaTunnel的Redis讀取器使用scan命令而非keys，單模式的讀寫支援批次操作。 @FuYouJ
  • [feature][connector-file-local]為localfile新增儲存模式功能 @chl-wxp
  • [Improve][E2E][Doris]為聯結器-doris-e2e新增無模式測試用例 @bingquanzhao
  • [Improve][Doc]最佳化釘釘文件 @MRYOG
  • [Improve][Zeta]在資源管理器上請求槽位時新增重試 @Hisoka-X
  • [Improve][Doc]將IMap OSS配置JAR檔案新增到文件中 @zhouhoo
  • [ [Improve][Zeta]關於Apache SeaTunnel的功能和特性，請勿翻譯，僅將以下內容翻譯成中文："為提交重複的工作ID新增檢查" ]( https://github.com/apache/seatunnel/pull/7021 " [Improve][Zeta]關於Apache SeaTunnel的功能和特性，請勿翻譯，僅將以下內容翻譯成中文："為提交重複的工作ID新增檢查" ") @Hisoka-X
  • [Feature][Connector-V2]支援jdbc hana目錄和型別轉換器 @Hisoka-X
  • [Feature][Zeta]在Apache SeaTunnel中新增Master和Worker的分裂模式部署 @EricJoy2048
  • [Improve][Connector-V2]支援MySQL-CDC和MySQL-JDBC的模式演化 @dailai
  • [Improve][hbase]指定的列寫入指定的列族 @zhilinli123
  • [Feature][connector][kafka]支援從kafka讀取Maxwell格式訊息 #4415 @zhilinli123
  • [Feature][Connector-V2] [Hudi]新增Hudi Sink聯結器 @liugddx

其他事項

  • [Document]移除一個fs.oss.credentials.provider選項 @loustler
  • [Hotifx][Jdbc]修復MySQL不支援'ZEROFILL'列型別 @hailin0
  • [ASF]新增新合作者 @Hisoka-X
  • [Core][Flink]最佳化方法名稱 @TyrantLucifer
  • [Core][Flink]重構 Flink 代理源/匯 @TyrantLucifer
  • [DOC][Oss]在選擇oss作為檢查點基礎時，修正了文件配置的錯誤 @Carl-Zhou-CN
  • [E2E]啟用JdbcPostgresIdentifierIT @hailin0
  • [E2E]啟用Spark/Flink的fakesource端到端（E2E）功能 @hailin0
  • [E2E]移除未使用的程式碼 @hailin0
  • 將org.apache.activemq:activemq-client從5.14.5升級到5.15.16在/seatunnel-connectors-v2/connector-activemq中 @dependabot[bot]
  • 更新Oracle-CDC.md @virvle
  • [Docs]事件監聽器文件翻譯成中文 @OswinWu
  • [Chore][NOTICE]在NOTICE檔案中更正年份 @wuchunfu
  • [Docs]更新與引擎相關的文件資訊 @tcodehuber
  • [Doc]HDFS檔案文件校正 @liunaijie
  • [E2E]修復Iceberg全鏈路影像標籤 @hailin0
  • [Docs]更新貢獻和readme相關的文件資訊 @tcodehuber
  • [Docs]更新關於transform和faq相關文件資訊 @tcodehuber
  • [Docs]更新概念相關的文件資訊 @tcodehuber
  • [Docs]更新與快速啟動v2相關的文件資訊 @tcodehuber
  • 將org.xerial.snappy:snappy-java從1.1.8.3升級到1.1.10.4在/seatunnel-connectors-v2/connector-hudi中 @dependabot[bot]
  • [CI]修復k8s引擎，當僅更改測試用例時無法執行 @Hisoka-X
  • [Docs]更新rest-api文件 @liunaijie
  • [Chore]刪除無用程式碼 @TyrantLucifer
  • [CI][Test]修復engine-k8s-it失敗 @Hisoka-X
  • [typo]關於Apache SeaTunnel的提示：錯誤的拼寫，儲存模式執行位置 @liunaijie
  • [Doc]修正文件 @liunaijie
  • [Docs][connector-sink]新增 Docs 聯結器 v2 沉澱 @zhangshenghang
  • [Docs]將clickhousefile,phoenix,rabbitmq,starrocks sink文件翻譯成中文 @latch890727

apache/seatunnel-website倉庫

fix

  • [Fix][Doc]修復 miss sink-options-placeholders.md 在側邊欄中 @Hisoka-X
  • [Fix][Doc]修復混合叢集部署文件顯示錯誤 @Hisoka-X

others

  • 新增提交者 @liunaijie
  • 新增發布文件2.3.7修復 @wuchunfu
  • 新增版本文件2.3.7 @wuchunfu
  • 還原舊版本文件 @Hisoka-X
  • 修復版本指令碼 @baicie
  • 新增版本文件2.3.6 @Hisoka-X
  • 修復：同步影像 @baicie

apache/seatunnel-web倉庫

修復

  • [Bug] [Seatunnel-web]Apache SeaTunnel的/seatunnel/api/v1/job/executor/resource API並未使用已登入使用者。 @arshadmohammad
  • [Bug] [Seatunnel-web]當作業執行初始化失敗時，作業執行狀態保持不變。 @arshadmohammad
  • [Bug] [Seatunnel-web]如果不存在，則建立日誌目錄。 @arshadmohammad
  • [Bug] [Seatunnel-web]驗證訊息錯誤 @arshadmohammad
  • [Fix]修復執行時間計算，以考慮缺失的天數。 @XIAOKUOAIyang
  • [Bug][Seatunnel-web]JWT演算法是硬編碼的。使用配置的j... @BilwaST
  • [Bug] [Seatunnel-web]Apache SeaTunnel的seatunnel-web啟動指令碼和外掛下載指令碼預設沒有執行許可權 @arshadmohammad
  • [Bug] [Seatunnel-web]Seatunnel-web始終要求叢集名稱為seatunnel @arshadmohammad
  • [Bug] [Seatunnel-web]在logs目錄之外建立了gc.log，nohup.out @arshadmohammad
  • [Improve][feature][Bug]在任務定義中新增提示框，並修復設計問題。 @SachinS10-lab

最佳化

  • [Improvement] [Seatunnel-web]改進DatasourceServiceImpl和SeaTunnelEngineMetricsExtractor等程式碼。 @arshadmohammad
  • [Improvement] [Seatunnel-web]新增API以獲取和更新作業定義。 @arshadmohammad
  • [Improvement] [Seatunnel-web]新增API以獲取作業執行狀態。 @arshadmohammad
  • [Improvement] [Seatunnel-web]增加支援以提供作業失敗的原因 @arshadmohammad
  • [Feature] [Seatunnel-web]透過API支援使用引數執行作業。 @arshadmohammad
  • [Improvement] [Seatunnel-web]將seatunnel版本從2.3.6升級到2.3.7 @arshadmohammad
  • [Feature][Seatunnel-web]增加對使用單一API建立作業的支援 @arshadmohammad
  • [Improvement][Seatunnel-web]執行作業REST API 應該是POST型別，而不是GET型別。 @arshadmohammad
  • [Improvement][Seatunnel-web]為seatunnel-web REST API新增端到端執行支援 @arshadmohammad
  • [Improvement][Seatunnel-web]將frontend-maven-plugin從1.11.3升級到1.15.0，同時將slf4j.version從1.7.25升級到1.7.36。 @arshadmohammad
  • [Feature][Seatunnel-web]將FakeSource和Console資料來源新增到seatunnel-web中 @arshadmohammad
  • [Improve] [Seatunnel-Web]在Seatunnel-Web中新增對Seatunnel 2.3.6的支援 @arshadmohammad

其他事項

  • [Chore]程式碼整潔 @ZhangWeike2000
  • [Build]將快照版本更新至1.0.2 @Hisoka-X
  • [ 撤銷"為修復seatunnel.sh命令更新README.md" ]( https://github.com/apache/seatunnel-web/pull/175 " 撤銷"為修復seatunnel.sh命令更新README.md" ") @Hisoka-X
  • 更新.asf.yaml @Hisoka-X
  • 更新README.md以修復seatunnel.sh命令 @zhangm365
  • 新增圖示 @liunaijie

本文由 白鯨開源 提供釋出支援！

相關文章