倒帶ChunJun,同心前行|2022年度回顧&2023年共建規劃

數棧DTinsight發表於2023-02-14

ChunJun是一個開始於2018年的 ,原名FlinkX。2022年2月22日,在FlinkX進行初版開源的整整四年後,技術團隊決定對FlinkX進行整體升級,並更名為ChunJun,希望為大家真正提供一個穩定、高效、易用的批流一體的 。

2022年的ChunJun茁壯成長,如今已經是一個由68多位貢獻者協同開發、擁有3437個star的人氣專案。

專案地址:

ChunJun 專案進展

Star數:3437 Fork數:1556

Issue Closed:764 PR Cloesd:523

Contributors:68 Commits:5147

ChunJun 內容輸出

影片課程:共計15課

涵蓋直播課程、入門指南、 等方方面面

精品文章:共計18篇

帶你快速瞭解chunJun

技術社群:3898人

已成為大量開發者及 的交流學習平臺

ChunJun 獎項榮譽

入選Gitee最有價值開源專案——GVP

file

2022 ChunJun大事記

送虎歲,迎兔年,值此除舊迎新之際,想和一直以來關注 的朋友聊聊這一年的進展:

2022年2月22日

沉澱了團隊六年來在 的實踐經驗,技術團隊決定對FlinkX進行整體升級,並更名為ChunJun。希望為大家真正提供一個穩定、高效、易用的批流一體的 。

2022年5月28日

ChunJun社群第一次會議,討論當前第一個版本的roadmap規劃,首次邀請社群小夥伴一起參與討論。內容包括減少啟動引數,讓使用者快速啟動;增加 Docker 部分,使用者直接下載Docker 映象,開箱即用等。

2022年6月25日

開源小夥伴貢獻的官網內容正式釋出。

官網地址:

2022年7月9日

ChunJun社群第二次會議,討論當前第二個版本的roadmap規劃。

2022年9月18日

ChunJun社群第三次會議,討論當前第三個版本的roadmap規劃,調整 pr review & merge 規範和流程。

2022 ChunJun活動

2022年8月27日

聯合OceanBase社群主辦開源線下Meetup,釋出基於Oceanbase 的離線外掛和cdc 外掛,並推出 。

file

2022年9月24日

參與Hadoop MeetUp,分享ChunJun在實時採集上的功能和新特性。

file

2022年10月29日

聯合舉辦 COSCon'22 開源年會杭州分會場,分享袋鼠雲三大元件 ChunJun、Taier、ChengYing 的配套使用構建。

file

2022 ChunJun精品課程

2022年4月27日

課程:ChunJun支援異構資料來源DDL轉換與自動執行

影片連結:

2022年6月27日

課程:ChunJun資料還原-DDL功能模組解析

影片連結:

2022年7月6日

課程:ChunJun同步Hive事務表

影片連結:

2022年8月19日

課程:ChunJun資料傳輸模組介紹

影片連結:

2022年9月22日

課程:ChunJun類載入原理與實現

影片連結:

2022年12月9日

課程:ChunJun資料安全之Kerberos介紹

影片連結:

2022 ChunJun研發進展

共釋出七個版本:

V1.12.1

· 開發完成,增加了binlog/logminer 對 DDL 的監聽處理;

· 豐富外掛,新增Doris 外掛;

· 新增ChunJun 對 Flink python udf 的支援;

· 穩定性提升,修復ChunJun 20+ bug。

V1.12.2

· 豐富外掛, 新增 inceptor外掛;

· 豐富外掛,新增 influxdb外掛;

· 程式碼最佳化,使用外掛 spotless-plugins強制對程式碼風格進行檢查;

· es 外掛最佳化,支援 ssl模式;

· gbase 外掛最佳化,支援 update模式;

· k8s 模式下新增對 application mode支援;

· 穩定性提升,修復ChunJun 10+ bug。

V1.12.3

· 豐富外掛, 新增 starrocks外掛;

· 增量同步支援 datetime型別;

· SQLserver cdc增加對資料型別 smallint的支援;

· 穩定性提升,修復ChunJun 10+ bug。

V1.12.4

· 豐富外掛,新增 oceanbase外掛;

· 資料還原功能加強,新增 ,避免資料丟失;

· 專案名稱調整,從 FlinkX修改為 ChunJun;

· 外掛最佳化,調整 inceptor外掛的讀取方式,從原來的 jdbc調整為直接讀取檔案;

· 外掛最佳化,pg讀取外掛支援 Array型別;

· 增加對 protobuffer format的支援;

· 穩定性提升,修復ChunJun 20+ bug。

V1.12.5

· 資料同步 jdbc分片最佳化,新增對 range mode的支援,原先只支援 mod模式分片;

· 易用性提升,新增內建提交指令碼,在不同模式下任務提交需要傳入的引數,只需要傳遞 -job和 -confProp即可;

· ChunJun增加一個模組,準備用於釋出安裝包;

· 穩定性提升,修復ChunJun 15+ bug。

V1.12.6

· 最佳化 ChunJun資料同步的序列化方式;

· ChunJun 新增新的官網,方便社群同學瞭解閱讀文件及技術方案;

· 豐富外掛, 新增 rocketmq、sybase、s3、vertica11、iceberg外掛及 redis讀取外掛;

· docker模式的支援,並新增執行指令碼和文件;

· jdbc 外掛增強,新增在執行前檢查 dbconn;

· hbase 外掛最佳化和重構,支援 transformer;

· ChunJun 工程支援E2E 功能;

· oracle 外掛增強支援 nchar、nvarchar2 型別的中文儲存;

· 穩定性提升,修復ChunJun 30+ bug。

V1.12.7

· 最佳化 jdbc base模組,新增 ;

· 最佳化 ftp讀取效能,新增對大檔案切片的支援;

· hdfs 外掛最佳化,支援 hadoop3.x 版本 orc讀取;

· e2e 功能豐富,新增 ftp container;

· es7 外掛最佳化,支援 type關鍵字;

· 穩定性提升,修復ChunJun 30+ bug。

2023年的ChunJun

ChunJun未來規劃

· 依賴 Flink版本升級到1.16;

· ChunJun 提供Rest api 的server 服務,簡化ChunJun 整合的難度;

· ChunJun 新增資料還原DDL支援Iceberg、Hudi。

兔年祝福

2022年,感謝 ChunJun社群小夥伴們的大力支援,ChunJun走的每一步都離不開你們的幫助,2023年,我們繼續交流,一起進步。

也祝福大家在新的一年裡兔飛猛進,快樂,幸福~?

想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szitpub

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2935161/,如需轉載,請註明出處,否則將追究法律責任。

相關文章