活動回放 | 如何進行全增量一體的異構資料庫實時同步

Tapdata钛铂数据發表於2024-05-06

以 AI 領域為代表的新技術不斷湧現,新的應用風口也逐漸清晰。為了加緊跟上技術發展的步伐,越來越多的企業開始著手,對仍以傳統關係型資料庫為主的應用後端進行現代化升級。

這就涉及到如何在不影響並保持現有業務系統正常運轉的前提下,實現資料向新業務系統的持續同步,並保障異構資料同步的完整性、準確性、一致性、時效性。針對這一問題,TapData 在 4月19日主題為《如何進行全增量一體的異構資料庫實時同步》的直播活動中,為大家提供了一些解題新思路。

本次直播的完整回放>>>>>>

要點指路

  • 為什麼需要持續複製資料到異構資料庫?(01:16-08:22)
  • 常見異構資料庫同步解決方案分析:優勢 & 不足 (08:22-14:03)
  • TapData Live Data Platform 資料 CDC 解決方案(14:03-22:43)
  • Demo 演示:Oracle 實時表單同步和多表合併同步到 MongoDB (22:43-34:59)
  • 總結 (35:09-37:04)

核心內容梳理

  • 演示用關係型資料庫(資料來源):Oracle
  • 演示用現代化資料庫(資料目標)MongoDB (Atlas)

為什麼需要新一代資料庫?

常見案例①:查詢加速

常見案例②:統一客戶資料平臺

發現用例共性:

  • 既有應用還將繼續執行,不會被取締
  • 客戶正在現代資料庫上構建新的應用程式,例如基於 MongoDB
  • 舊應用程式中的業務資料需要以一種新鮮實時的方式,持續提供給新應用程式

常見解決方案

方案①:為舊庫新增 API 層

方案②:資料庫與訊息佇列(Kafka)的雙寫

常見方案對比

新思路:TapData Live Data Platform

作為一個以低延遲資料移動為核心優勢構建的現代資料平臺,TapData 幫助企業實現核心資料系統之間的實時同步、實時交換及實時處理。其設計初衷,是希望能夠以一種創新的方式解決老大難的資料整合問題,核心優勢表現為:

  • 強大的資料 CDC 能力:基於資料庫日誌的資料 CDC 技術與實時資料轉換相結合,內建大量 CDC 聯結器,0侵入實時採集資料,輕鬆實現資料的全、增量整合。
  • 廣泛的資料庫支援:內建 100+聯結器且不斷擴充中,覆蓋大部分主流的資料庫和型別,支援異構資料庫全量、增量同步,關注現代化資料庫以及新興資料庫的發展和連線,兼具自主智慧財產權優勢,對國產資料庫更友好。
  • 創造性的資料中心架構:除點對點外,還支援集中式資料匯流排架構,支援更靈活地整合多個資料來源和應用,有效減少為多個應用提供服務所需的管道數量,更有利於成本控制。

瞭解更多,「閱讀原文

TapData,解決資料整合老大難問題的創新方法:

  • 輕鬆連線至任何資料庫,監聽日誌將其轉換為事件流
  • 根據需要進行過濾、轉換或合併
  • 傳送至 Kafka、資料庫和資料倉儲

TapData 關鍵特性:

  • 資料 CDC(Change Data Capture,變更資料捕獲)採集 + 實時處理

  • 內建 100+ CDC 聯結器,包含資料庫、Kafka / MQ,以及檔案 / SaaS API 等多種型別

  • 流式處理,多表合併,物化檢視構建:從關係型到文件型,支援多對一實時合併;嵌入式陣列/文件;自動插入/更新/刪除子文件

對比總結

TapData 是一個基於 CDC 的實時資料整合平臺,提供了雲版、企業版,開源的社群版不日也將全面上線。

點選「閱讀原文」 立即體驗

相關文章