Flink CDC Meetup · Online,5.21 開講!

ApacheFlink發表於2022-05-14

當下資料規模正在以驚人的速度增長,越來越多的應用場景也對資料處理的時效性有了更高的要求。隨著近幾年實時計算技術的迅猛發展,湧現了實時 OLAP、實時資料湖、實時數倉等架構,較好地解決了湖倉實時化問題。然而實時化需要的是端到端的解決方案,除了湖倉實時化之外,我們還急需資料整合的實時化。

實時資料整合是指將各個資料孤島中的資料實時地同步、集中到資料倉儲中,便於後續進行統一的實時分析。實時資料整合是資料技術棧實時化的重要組成部分,也是目前業界的主流發展趨勢。與離線資料整合不同,實時資料整合需要面對隨時都可能發生變化的資料與結構,除了需要保證低延遲地同步到目標儲存中,還需要保證在各種場景下的資料一致性、正確性等問題。

Flink CDC 是實時資料整合框架的開源代表,具有全增量一體化、無鎖讀取、併發讀取、分散式架構等技術優勢,在開源社群中非常受歡迎。除了具備實時入湖入倉能力,Flink CDC 還支援強大的資料加工能力,可以通過 SQL 對資料庫資料做實時關聯、聚合、打寬等。

img

Flink CDC Meetup · Online

5月21日 | 線上

為了促進 Flink CDC 技術的交流和發展,我們將於 5 月 21 日線上舉辦 Flink CDC Meetup。本次 Meetup 由阿里巴巴技術專家,Apache Flink PMC Member & Committer 伍翀 (雲邪) 作為出品人,邀請了來自阿里巴巴、XTransfer、順豐、OceanBase、大健雲倉的大咖分享 Flink CDC 在各場景中的最佳實踐、生產經驗、技術原理等。

【活動亮點】

• 超多實用乾貨,如 Flink CDC 實現海量資料的實時同步和轉換的技術原理,以及各業務場景下的實踐優化。
• 每位講師均留有 Q&A 環節,通過社群釘群、微信群、視訊號直播提出問題,均有機會得到講師線上答覆~
• 通過 ApacheFlink 視訊號觀看直播,將有機會獲得 Flink CDC 定製 T恤!

【活動議程】

img

嘉賓及議題介紹

伍翀

阿里巴巴技術專家,Apache Flink PMC Member & Committer

出品人簡介:

伍翀,花名雲邪,Apache Flink PMC member & Committer。就職於阿里雲開源大資料平臺,主要負責 Flink CDC、Flink SQL 相關的研發工作,長期以來一直專注於流處理、批處理領域。

《基於 Flink CDC 實現海量資料的實時同步和轉換》

徐榜江
阿里巴巴高階開發工程師,Apache Flink Committer & Flink CDC Maintainer

【嘉賓簡介】

徐榜江,阿里花名雪盡,目前專注資料整合領域。

【演講簡介】

  1. 海量資料整合的痛點;
  2. 基於 Flink CDC 實現海量資料的實時同步和轉換;
  3. Demo 演示:實時大屏;
  4. 總結與展望。

【聽眾受益】

瞭解 Flink CDC 實現海量資料的實時同步和轉換的技術原理,為業務提供更新鮮的資料。

《Flink CDC MongoDB Connector的實現原理和使用實踐》

孫家寶
XTransfer 資深 Java 開發工程師,Flink CDC Maintainer

【嘉賓簡介】

孫家寶,任職於 XTransfer 基礎架構部,負責大資料平臺基礎設施建設。 是 Flink CDC 專案 Maintainer 成員,Debezium、Zeppelin 等開源專案貢獻者。

【演講簡介】

  1. MongoDB ChangeStream 技術簡介;
  2. MongoDB CDC Connector 使用實踐;
  3. MongoDB CDC Connector 並行化 Snapshot 改進。

【聽眾受益】

受益物件:Flink CDC MongoDB 的使用者和技術開發。

《Flink CDC 在順豐的生產實踐》

覃立輝

順豐大資料研發工程師

【嘉賓簡介】

覃立輝,任職於順豐科技大資料底盤團隊,主要從事資料入湖入倉相關的研發工作。

【演講簡介】

  1. 順豐資料整合背景
  2. Flink CDC 實踐問題與優化
  3. 未來規劃

【聽眾受益】

聽眾可以瞭解到在 Flink CDC 生產實踐過程中遇到哪些問題與挑戰,以及我們為解決這些問題對 Flink CDC 進行優化,支援全量與增量日誌流並行讀取、支援全量混合拆分解決資料傾斜,支援多 DB 例項的分庫分表同步等功能。

《Flink CDC + OceanBase 全增量一體化資料整合方案》

王赫

OceanBase 技術專家

【嘉賓簡介】

王赫 (川粉),OceanBase 技術專家。

【演講簡介】

本次分享將從以下四部分帶來 Flink CDC + OceanBase 全增量一體化資料整合方案:

  1. CDC 技術簡介
  2. OceanBase CDC 元件介紹
  3. Flink CDC 簡介
  4. Flink CDC OceanBase Connector 簡介

【聽眾受益】

瞭解 Flink CDC 和 OceanBase 社群版資料遷移相關的工具,瞭解 Flink CDC OceanBase Connector 的原理和使用,掌握分散式資料庫 OceanBase 社群版與大資料處理引擎 Flink 的整合方案。

《Flink CDC 在大健雲倉的實踐》

龔中強

大健雲倉基礎架構部負責人

【嘉賓簡介】

任職於大健雲倉基礎架構部,主要負責公司系統架構設計與開發。目前專注於大資料、雲原生領域,有一定的實踐經驗和個人見解。

【演講簡介】

  1. 公司引入 Flink CDC 的背景;
  2. 現今 Flink CDC 內部落地的業務場景;
  3. 未來 Flink CDC 內部推廣以及平臺化建設。

【聽眾受益】

  1. 瞭解 Flink CDC 在公司內落地的業務場景和生產實踐的經驗;
  2. 開拓應用 Flink CDC 業務場景的視野。

活動詳情

時間:5 月 21 日 9:00-12:25

PC 端直播觀看:https://developer.aliyun.com/...

移動端建議關注 ApacheFlink 視訊號預約觀看

img

相關文章