直播回顧 ｜ Flink Exactly Once & Kafka-connector 運算元

數棧DTinsight發表於2021-10-26
Kafka


哈嘍！ 朋友們
10月21日晚19:00
袋鼠雲數棧的
大資料引擎開發 技術大咖- 小刀
在 釘釘群、微信影片號 和 B站 同步直播

FlinkX技術分享
《 Flink Exactly Once & Kafka-connector 運算元 》
有沒有看呢？

看過的朋友直呼學到了，學到了
錯過的人兒想看的話
方法貼在下面了
下面和數棧君一起回顧下
本次的直播主要講了些啥？

敲黑板，劃重點


一、Kafka-connector 在Flinkx 中的使用

1.Flinkx 框架ddl 如何對映到 Kafka-connector？

2.Flinkx Kafka-connector 基於Flink 原有對Connector 擴充套件-Source 部分

  • Metric 資訊基於State儲存

  • 負載SubscriptionState 新增了對消費延遲資訊對獲取

  • 髒資料對管控（包括髒資料指標的監控，髒資料資訊的記錄等）

3.Flinkx Kafka-connector 基於flink 原有對connector 擴充套件-Sink部分

  • Metric 資訊基於State儲存

  • 自定義分割槽邏輯，用於將相同的key 放入同一個分割槽


二、kafka-connector 如何進行分片

1.Flink 是如何獲取到Kafka 分割槽的, 和Batch 比如讀取rdb 分片有什麼區別？

2.Flink 的Subtask 是如何和對應的Kafka Partition 關聯上的?

3.如果Kafka 分割槽發生變化, Flink 是如何感知到的呢？


三、如何實現Exactly Once

1.實現關鍵介面：CheckpointedFunction, CheckpointListener
2.Flink-Kafka-connecotr 如何實現的二階段提交


錯過直播的朋友請注意：

釘釘或搜尋： 30537511 加入 技術交流群， 回看直播，獲取完整的課件資料。
在b站搜尋“袋鼠雲”回看直播影片
b站影片網址：
我們定期會邀請技術大牛來給我們做分享， 大家關注我們的下一期直播哦～


更多技術交流方式

想面對面技術交流？想看技術大佬直播？加入釘釘群“袋鼠雲開源框架技術交流群”（群號：30537511）


想體驗更多數棧開源專案？在Github社群或Gitee社群搜尋“FlinkX”開源專案


Github開源專案地址：

Gitee開源專案地址：

https://gitee.com/dtstack_dev_0/flinkx




來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69995740/viewspace-2839425/，如需轉載，請註明出處，否則將追究法律責任。

相關文章