上線啦丨FlinkX1.12 Beta版正式在Github開源

萬眾期待的FlinkX1.12的Beta版今天正式在Github社群開源上線啦！這是FlinkX技術團隊潛心打造的新版本的FlinkX，設計文件和使用文件已在社群中推送，大家可以隨時下載查閱，喜歡的同學記得給我們點個Star哦~

本次上線的FlinkX1.12 Beta版做了以下更新：
1、FlinkX與FlinkStreamSQL融合

FlinkX作為分散式資料同步工具，FlinkStreamSQL基於開源的flink對實時sql進行擴充套件，我們將二者融合。融合後的FlinkX既支援原有的資料同步、實時採集，也支援SQL流與維表的Join，實現了一套外掛完成資料的同步、轉換與計算。
2、FlinkX增加transformer運算元，支援SQL轉換

在1.10及之前版本的FlinkX中，我們其實是不支援資料轉換的，這對於ETL作業來說幾乎是斷了一條腿。在1.12版本，我們增加了transformer運算元，使用者在指令碼中定義好資料型別以及SQL轉換邏輯，FlinkX將會幫使用者把ETL作業一步到位。在配置的SQL中，我們支援所有Flink原生語法及Function。
3、FlinkX外掛Connector化

在1.10及之前版本的FlinkX中，我們的外掛分為reader和writer。在1.12中，我們向Flink社群靠齊，外掛不區分為reader和writer，統一命名為connector並遵循社群的規範。統一後的FlinkX connector與社群保持相容，既社群可以使用FlinkX的connector，FlinkX也可以使用社群的connector。
4、FlinkX資料結構最佳化

在1.10及之前版本的FlinkX中，資料傳輸使用的是Row，在1.12中，我們向Flink社群靠齊，修改成了RowData。在之前版本實時採集到的資料在Row中是一個Map結構，沒有平鋪展開導致其實無法寫到資料庫對應的欄位列的。在新版本中，我們將其展開使得實時採集的資料可以寫到對應的欄位列。這為後續異構資料來源的資料還原邁下了堅實的一步。
5、FlinkX支援二階段提交

目前FlinkX幾乎所有外掛都支援二階段提交。
6、FlinkX支援資料湖 Iceberg

可以流式讀取和寫入Iceberg資料湖，未來也會加入Hudi支援。
7、FlinkX支援提交kubernetes

FlinkX支援使用native kuberentes方式以session和run-application模式提交任務。

為了方便大家更快的FlinkX1.12Beta版的使用，我們將釘釘交流群“袋鼠雲開源框架技術交流群”（群號：30537511）進行線上答疑活動，在使用上有疑惑的同學歡迎加群提出問題，我們技術小哥會在群內幫大家解答。

各位小夥伴們是不是很心動呢？那就快來Github社群來第一時間體驗FlinkX1.12 Beta版吧！

FlinkX1.12Beta版開源專案體驗地址：



數棧是雲原生—站式資料中臺PaaS，我們在github和gitee上有一個有趣的開源專案：FlinkX，FlinkX是一個基於Flink的批流統一的資料同步工具，既可以採集靜態的資料，也可以採集實時變化的資料，是全域、異構、批流一體的資料同步引擎。大家喜歡的話請給我們點個star！star！star！

github開源專案：

gitee開源專案：https://gitee.com/dtstack_dev_0/flinkx