當下資料規模正在以驚人的速度增長,越來越多的應用場景也對資料處理的時效性有了更高的要求。隨著近幾年實時計算技術的迅猛發展,湧現了實時 OLAP、實時資料湖、實時數倉等架構,較好地解決了湖倉實時化問題。然而實時化需要的是端到端的解決方案,除了湖倉實時化之外,我們還急需資料整合的實時化。
實時資料整合是指將各個資料孤島中的資料實時地同步、集中到資料倉儲中,便於後續進行統一的實時分析。實時資料整合是資料技術棧實時化的重要組成部分,也是目前業界的主流發展趨勢。與離線資料整合不同,實時資料整合需要面對隨時都可能發生變化的資料與結構,除了需要保證低延遲地同步到目標儲存中,還需要保證在各種場景下的資料一致性、正確性等問題。
Flink CDC 是實時資料整合框架的開源代表,具有全增量一體化、無鎖讀取、併發讀取、分散式架構等技術優勢,在開源社群中非常受歡迎。除了具備實時入湖入倉能力,Flink CDC 還支援強大的資料加工能力,可以通過 SQL 對資料庫資料做實時關聯、聚合、打寬等。
Flink CDC Meetup · Online
5月21日 | 線上
為了促進 Flink CDC 技術的交流和發展,我們將於 5 月 21 日線上舉辦 Flink CDC Meetup。本次 Meetup 由阿里巴巴技術專家,Apache Flink PMC Member & Committer 伍翀 (雲邪) 作為出品人,邀請了來自阿里巴巴、XTransfer、順豐、OceanBase、大健雲倉的大咖分享 Flink CDC 在各場景中的最佳實踐、生產經驗、技術原理等。
【活動亮點】
• 超多實用乾貨,如 Flink CDC 實現海量資料的實時同步和轉換的技術原理,以及各業務場景下的實踐優化。
• 每位講師均留有 Q&A 環節,通過社群釘群、微信群、視訊號直播提出問題,均有機會得到講師線上答覆~
• 通過 ApacheFlink 視訊號觀看直播,將有機會獲得 Flink CDC 定製 T恤!
【活動議程】
嘉賓及議題介紹
伍翀
阿里巴巴技術專家,Apache Flink PMC Member & Committer
出品人簡介:
伍翀,花名雲邪,Apache Flink PMC member & Committer。就職於阿里雲開源大資料平臺,主要負責 Flink CDC、Flink SQL 相關的研發工作,長期以來一直專注於流處理、批處理領域。
《基於 Flink CDC 實現海量資料的實時同步和轉換》
徐榜江
阿里巴巴高階開發工程師,Apache Flink Committer & Flink CDC Maintainer
【嘉賓簡介】
徐榜江,阿里花名雪盡,目前專注資料整合領域。
【演講簡介】
- 海量資料整合的痛點;
- 基於 Flink CDC 實現海量資料的實時同步和轉換;
- Demo 演示:實時大屏;
- 總結與展望。
【聽眾受益】
瞭解 Flink CDC 實現海量資料的實時同步和轉換的技術原理,為業務提供更新鮮的資料。
《Flink CDC MongoDB Connector的實現原理和使用實踐》
孫家寶
XTransfer 資深 Java 開發工程師,Flink CDC Maintainer
【嘉賓簡介】
孫家寶,任職於 XTransfer 基礎架構部,負責大資料平臺基礎設施建設。 是 Flink CDC 專案 Maintainer 成員,Debezium、Zeppelin 等開源專案貢獻者。
【演講簡介】
- MongoDB ChangeStream 技術簡介;
- MongoDB CDC Connector 使用實踐;
- MongoDB CDC Connector 並行化 Snapshot 改進。
【聽眾受益】
受益物件:Flink CDC MongoDB 的使用者和技術開發。
《Flink CDC 在順豐的生產實踐》
覃立輝
順豐大資料研發工程師
【嘉賓簡介】
覃立輝,任職於順豐科技大資料底盤團隊,主要從事資料入湖入倉相關的研發工作。
【演講簡介】
- 順豐資料整合背景
- Flink CDC 實踐問題與優化
- 未來規劃
【聽眾受益】
聽眾可以瞭解到在 Flink CDC 生產實踐過程中遇到哪些問題與挑戰,以及我們為解決這些問題對 Flink CDC 進行優化,支援全量與增量日誌流並行讀取、支援全量混合拆分解決資料傾斜,支援多 DB 例項的分庫分表同步等功能。
《Flink CDC + OceanBase 全增量一體化資料整合方案》
王赫
OceanBase 技術專家
【嘉賓簡介】
王赫 (川粉),OceanBase 技術專家。
【演講簡介】
本次分享將從以下四部分帶來 Flink CDC + OceanBase 全增量一體化資料整合方案:
- CDC 技術簡介
- OceanBase CDC 元件介紹
- Flink CDC 簡介
- Flink CDC OceanBase Connector 簡介
【聽眾受益】
瞭解 Flink CDC 和 OceanBase 社群版資料遷移相關的工具,瞭解 Flink CDC OceanBase Connector 的原理和使用,掌握分散式資料庫 OceanBase 社群版與大資料處理引擎 Flink 的整合方案。
《Flink CDC 在大健雲倉的實踐》
龔中強
大健雲倉基礎架構部負責人
【嘉賓簡介】
任職於大健雲倉基礎架構部,主要負責公司系統架構設計與開發。目前專注於大資料、雲原生領域,有一定的實踐經驗和個人見解。
【演講簡介】
- 公司引入 Flink CDC 的背景;
- 現今 Flink CDC 內部落地的業務場景;
- 未來 Flink CDC 內部推廣以及平臺化建設。
【聽眾受益】
- 瞭解 Flink CDC 在公司內落地的業務場景和生產實踐的經驗;
- 開拓應用 Flink CDC 業務場景的視野。
活動詳情
時間:5 月 21 日 9:00-12:25
PC 端直播觀看:https://developer.aliyun.com/...
移動端建議關注 ApacheFlink 視訊號預約觀看