【直播預告】優化器及 Flink CDC + OceanBase 全增量一體化資料整合方案

OceanBase技術站發表於2022-04-13

深入淺出 OceanBase 社群線上技術沙龍,旨在幫助關注分散式資料庫技術的愛好者們提供技術交流、分享、探討的空間,讓大家少踩坑,少走彎路。

每月 1-2 場,圍繞 OceanBase 核心技術和周邊工具展開,其他想聽的內容,歡迎留言:【深入淺出 OceanBase 系列】活動預告+話題徵集+中獎公佈

直播預告

4 月 14 日(週四)19:00,將線上播出《深入淺出 OceanBase 第二期》,將深入解析優化器及 Flink CDC + OceanBase 全增量一體化資料整合方案,歡迎大家提前關注。

議題:優化器及 Flink CDC + OceanBase 全增量一體化資料整合方案

時間:4月14日(週四)19:00
image.png

掃描海報二維碼,進群預約直播

Topic 1 :OceanBase 查詢優化器

講師:王國平(花名:溪峰)OceanBase 高階技術專家,OceanBase 查詢優化器負責人。

簡介:

查詢優化器是關聯式資料庫系統的核心模組,是資料庫核心開發的重點和難點,也是衡量整個資料庫系統成熟度的“試金石”。查詢優化理論誕生距今已有四十來年,學術界和工業界其實已經形成了一套比較完善的查詢優化框架(System-R的Bottom-up動態規劃優化框架和Volcano/Cascade的Top-down動態規劃優化框架),但圍繞查詢優化的核心難題始終沒變——如何利用有限的系統資源儘可能為查詢選擇一個“好”的執行計劃。

本次分享將會跟大家介紹 OceanBase 查詢優化器的工程實現以及我們對成熟優化器的一些思考。

1、查詢優化器簡介

2、查詢改寫

3、查詢優化

4、統計資訊和代價模型

5、計劃管理(SPM)

6、對成熟優化器的思考

Topic 2 : Flink CDC + OceanBase 全增量一體化資料整合方案

講師:王赫(花名:川粉)OceanBase 技術專家。

簡介:

Flink CDC Connectors 是 Apache Flink 的一組資料來源聯結器,使用者可以使用 Flink CDC 對不同的資料來源進行全增量一體化的讀取,並藉助 Flink SQL 進行流批一體的 ETL 處理。目前在最新發布的 Flink CDC Connectors 2.2 中已經實現了對 OceanBase 社群版的支援。

本次分享將從以下三部分帶來 Flink CDC + OceanBase 全增量一體化資料整合方案:

1、傳統的 CDC 和 ETL

CDC:DataX + Canal
ETL:CDC + KafKa + Flink
2、 Flink CDC + OceanBase

Flink 的動態表 https://nightlies.apache.org/...
Flink CDC 的架構
Flink CDC OceanBase Connector 的優點和不足
3、Flink CDC OceanBase Connector 的使用

Flink CDC OceanBase Connector 的實現原理
典型的應用場景(資料同步、OB + MySQL表聚合等)
動手實踐

image.png

Flink CDC 架構

往期回顧

3 月 24 日播出《深入淺出 OceanBase》 第一期內容:OceanBase 2022 Roadmap 及運維實戰分享。

Topic 1 :OceanBase 開源負責人紀君祥聊 社群版 2022 Roadmap

Topic 2 : 以螞蟻集團不同使用場景為例,分析如何調整和優化高效能 OceanBase

直播回放:【深入淺出 OceanBase第一期】OceanBase 2022 Roadmap 及運維實戰

相關資料:
Flink CDC 2.2 釋出,新增 OceanBase 資料來源接入

【深入淺出 OceanBase 系列】活動預告+話題徵集+中獎公佈

更多活動資訊,歡迎訪問 OceanBase 開源官網“活動”版塊。

相關文章