倒帶ChunJun,同心前行|2022年度回顧&2023年共建規劃
ChunJun是一個開始於2018年的 ,原名FlinkX。2022年2月22日,在FlinkX進行初版開源的整整四年後,技術團隊決定對FlinkX進行整體升級,並更名為ChunJun,希望為大家真正提供一個穩定、高效、易用的批流一體的 。
2022年的ChunJun茁壯成長,如今已經是一個由68多位貢獻者協同開發、擁有3437個star的人氣專案。
專案地址:
ChunJun 專案進展
Star數:3437 Fork數:1556
Issue Closed:764 PR Cloesd:523
Contributors:68 Commits:5147
ChunJun 內容輸出
影片課程:共計15課
涵蓋直播課程、入門指南、 等方方面面
精品文章:共計18篇
帶你快速瞭解chunJun
技術社群:3898人
已成為大量開發者及 的交流學習平臺
ChunJun 獎項榮譽
入選Gitee最有價值開源專案——GVP
2022 ChunJun大事記
送虎歲,迎兔年,值此除舊迎新之際,想和一直以來關注 的朋友聊聊這一年的進展:
2022年2月22日
沉澱了團隊六年來在 的實踐經驗,技術團隊決定對FlinkX進行整體升級,並更名為ChunJun。希望為大家真正提供一個穩定、高效、易用的批流一體的 。
2022年5月28日
ChunJun社群第一次會議,討論當前第一個版本的roadmap規劃,首次邀請社群小夥伴一起參與討論。內容包括減少啟動引數,讓使用者快速啟動;增加 Docker 部分,使用者直接下載Docker 映象,開箱即用等。
2022年6月25日
開源小夥伴貢獻的官網內容正式釋出。
官網地址:
2022年7月9日
ChunJun社群第二次會議,討論當前第二個版本的roadmap規劃。
2022年9月18日
ChunJun社群第三次會議,討論當前第三個版本的roadmap規劃,調整 pr review & merge 規範和流程。
2022 ChunJun活動
2022年8月27日
聯合OceanBase社群主辦開源線下Meetup,釋出基於Oceanbase 的離線外掛和cdc 外掛,並推出 。
2022年9月24日
參與Hadoop MeetUp,分享ChunJun在實時採集上的功能和新特性。
2022年10月29日
聯合舉辦 COSCon'22 開源年會杭州分會場,分享袋鼠雲三大元件 ChunJun、Taier、ChengYing 的配套使用構建。
2022 ChunJun精品課程
2022年4月27日
課程:ChunJun支援異構資料來源DDL轉換與自動執行
影片連結:
2022年6月27日
課程:ChunJun資料還原-DDL功能模組解析
影片連結:
2022年7月6日
課程:ChunJun同步Hive事務表
影片連結:
2022年8月19日
課程:ChunJun資料傳輸模組介紹
影片連結:
2022年9月22日
課程:ChunJun類載入原理與實現
影片連結:
2022年12月9日
課程:ChunJun資料安全之Kerberos介紹
影片連結:
2022 ChunJun研發進展
共釋出七個版本:
V1.12.1
· 開發完成,增加了binlog/logminer 對 DDL 的監聽處理;
· 豐富外掛,新增Doris 外掛;
· 新增ChunJun 對 Flink python udf 的支援;
· 穩定性提升,修復ChunJun 20+ bug。
V1.12.2
· 豐富外掛, 新增 inceptor外掛;
· 豐富外掛,新增 influxdb外掛;
· 程式碼最佳化,使用外掛 spotless-plugins強制對程式碼風格進行檢查;
· es 外掛最佳化,支援 ssl模式;
· gbase 外掛最佳化,支援 update模式;
· k8s 模式下新增對 application mode支援;
· 穩定性提升,修復ChunJun 10+ bug。
V1.12.3
· 豐富外掛, 新增 starrocks外掛;
· 增量同步支援 datetime型別;
· SQLserver cdc增加對資料型別 smallint的支援;
· 穩定性提升,修復ChunJun 10+ bug。
V1.12.4
· 豐富外掛,新增 oceanbase外掛;
· 資料還原功能加強,新增 ,避免資料丟失;
· 專案名稱調整,從 FlinkX修改為 ChunJun;
· 外掛最佳化,調整 inceptor外掛的讀取方式,從原來的 jdbc調整為直接讀取檔案;
· 外掛最佳化,pg讀取外掛支援 Array型別;
· 增加對 protobuffer format的支援;
· 穩定性提升,修復ChunJun 20+ bug。
V1.12.5
· 資料同步 jdbc分片最佳化,新增對 range mode的支援,原先只支援 mod模式分片;
· 易用性提升,新增內建提交指令碼,在不同模式下任務提交需要傳入的引數,只需要傳遞 -job和 -confProp即可;
· ChunJun增加一個模組,準備用於釋出安裝包;
· 穩定性提升,修復ChunJun 15+ bug。
V1.12.6
· 最佳化 ChunJun資料同步的序列化方式;
· ChunJun 新增新的官網,方便社群同學瞭解閱讀文件及技術方案;
· 豐富外掛, 新增 rocketmq、sybase、s3、vertica11、iceberg外掛及 redis讀取外掛;
· docker模式的支援,並新增執行指令碼和文件;
· jdbc 外掛增強,新增在執行前檢查 dbconn;
· hbase 外掛最佳化和重構,支援 transformer;
· ChunJun 工程支援E2E 功能;
· oracle 外掛增強支援 nchar、nvarchar2 型別的中文儲存;
· 穩定性提升,修復ChunJun 30+ bug。
V1.12.7
· 最佳化 jdbc base模組,新增 ;
· 最佳化 ftp讀取效能,新增對大檔案切片的支援;
· hdfs 外掛最佳化,支援 hadoop3.x 版本 orc讀取;
· e2e 功能豐富,新增 ftp container;
· es7 外掛最佳化,支援 type關鍵字;
· 穩定性提升,修復ChunJun 30+ bug。
2023年的ChunJun
ChunJun未來規劃
· 依賴 Flink版本升級到1.16;
· ChunJun 提供Rest api 的server 服務,簡化ChunJun 整合的難度;
· ChunJun 新增資料還原DDL支援Iceberg、Hudi。
兔年祝福
2022年,感謝 ChunJun社群小夥伴們的大力支援,ChunJun走的每一步都離不開你們的幫助,2023年,我們繼續交流,一起進步。
也祝福大家在新的一年裡兔飛猛進,快樂,幸福~?
想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szitpub
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69995740/viewspace-2935161/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 2022倒帶-NutUIUI
- 投資日記,年度回顧
- 掘金翻譯計劃 2017 回顧 — 致謝譯者及近期規劃
- 正規表示式回顧
- 2019年度 APT攻擊回顧APT
- 【直播回顧】參與ArkUI,共建OpenHarmony繁榮生態UI
- 2024年度規劃
- 2025 年度技術規劃
- 2022手遊行業回顧行業
- 回顧2018,展望2019前端之路 | 掘金年度徵文前端
- 騰訊 AI Lab 2018年度回顧AI
- 2022年規劃
- ChunJun框架在資料還原上的探索和實踐 | Hadoop Meetup精彩回顧框架Hadoop
- Hugging Face 年度回顧:2023,開源大模型之年Hugging Face大模型
- ScienceAI 2021「AI+化學」專題年度回顧AI
- 益普索:2020年零售年度回顧
- 帶你來吃瓜!Andy Pavlo教授帶您一文回顧資料庫的2022年資料庫
- 回顧兩年前整理的前端規範前端
- 【年度盤點】10 大熱門 Python 專案回顧Python
- 年度回顧:2018年度機器學習50大熱門網文機器學習
- United Nations:2022年海運回顧報告
- 一圖回顧博睿資料的2022
- 甜點cc的2022年回顧總結
- 回顧2022,那些令人印象深刻的AI突破AI
- 回顧
- 五分鐘帶你回顧Redux工作流Redux
- [2023年度回顧總結]凡是過往,皆為序章
- 年度盤點|2021 年阿里雲可觀測實踐回顧阿里
- DTMO直播預告丨ChunJun 2022年開源規劃&支援異構資料來源DDL轉換與自動執行
- LightBulb回顧
- 2018回顧
- 回顧ajax
- 一個技術創業者的2018年度回顧和總結 | 掘金年度徵文創業
- 活動精彩回顧|GopherChina 2019乾貨回顧!Go
- Steam2019年度回顧 月活躍人數9500萬
- 回顧2022年,我做了這些事?,來look、look?
- 蘋果ios簽名帶您回顧iPhone的10年蘋果iOSiPhone
- 可再生能源與就業:2024年度回顧報告就業