GoldenGate的簡介與複製原理
GoldenGate的簡介與複製原理
GoldenGate軟體是一種基於日誌的結構化資料複製軟體,它透過解析源資料庫線上日誌或歸檔日誌獲得資料的增量變化,再將這些變化應用到目標資料庫,從而實現源資料庫與目標資料庫同步。GoldenGate 可以在異構的IT基礎結構(包括幾乎所有常用作業系統平臺和資料庫平臺)之間實現大量資料亞秒一級的實時複製,從而在可以在應急系統、線上報表、實時資料倉儲供應、交易跟蹤、資料同步、集中/分發、容災等多個場景下應用。
GoldenGate的資料整合技術實施主要含3程式(資料抽取程式、傳輸程式、應用程式),2個檔案(源資料庫、目標資料庫)。
GoldenGate的工作原理:
利用捕捉程式在源系統端讀取線上日誌或歸檔日誌,然後進行解析,只提取其中資料的變化如增、刪、改操作,並將相關資訊轉換為自定義的中間格式存放在佇列檔案中,再利用傳送程式將佇列檔案透過TCP/IP傳送到目標系統。捕捉程式在每次讀完log中的資料變化並在資料傳送到目標系統後,會寫檢查點,記錄當前完成捕捉的log位置,檢查點的存在可以使捕捉程式在中止並恢復後可從檢查點位置繼續複製;
目標系統接受資料變化並快取到佇列中,佇列為一系列臨時儲存資料變化的檔案,等待投遞程式讀取資料;
應用程式從佇列中讀取資料變化並建立對應的SQL語句,透過資料庫的本地介面執行,提交到資料庫成功後更新自己的檢查點,記錄已經完成複製的位置。
GoldenGate軟體是一種基於日誌的結構化資料複製軟體,它透過解析源資料庫線上日誌或歸檔日誌獲得資料的增量變化,再將這些變化應用到目標資料庫,從而實現源資料庫與目標資料庫同步。GoldenGate 可以在異構的IT基礎結構(包括幾乎所有常用作業系統平臺和資料庫平臺)之間實現大量資料亞秒一級的實時複製,從而在可以在應急系統、線上報表、實時資料倉儲供應、交易跟蹤、資料同步、集中/分發、容災等多個場景下應用。
GoldenGate的資料整合技術實施主要含3程式(資料抽取程式、傳輸程式、應用程式),2個檔案(源資料庫、目標資料庫)。
GoldenGate的工作原理:
利用捕捉程式在源系統端讀取線上日誌或歸檔日誌,然後進行解析,只提取其中資料的變化如增、刪、改操作,並將相關資訊轉換為自定義的中間格式存放在佇列檔案中,再利用傳送程式將佇列檔案透過TCP/IP傳送到目標系統。捕捉程式在每次讀完log中的資料變化並在資料傳送到目標系統後,會寫檢查點,記錄當前完成捕捉的log位置,檢查點的存在可以使捕捉程式在中止並恢復後可從檢查點位置繼續複製;
目標系統接受資料變化並快取到佇列中,佇列為一系列臨時儲存資料變化的檔案,等待投遞程式讀取資料;
應用程式從佇列中讀取資料變化並建立對應的SQL語句,透過資料庫的本地介面執行,提交到資料庫成功後更新自己的檢查點,記錄已經完成複製的位置。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29500582/viewspace-1310843/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- GoldenGate異種資料庫之間的複製Go資料庫
- MySQL-主從複製簡介MySql
- mysql 複製原理與實踐MySql
- GoldenGate for Java Adapter介紹一(原理篇)GoJavaAPT
- Varnish(一)簡介與原理
- 用python生成oracle goldengate複製配置檔案PythonOracleGo
- MySQL 傳統複製與 GTID 複製原理及操作詳解MySql
- Redis主從複製工作原理和步驟介紹Redis
- 資料庫複製(一)–複製介紹資料庫
- JavaScript中的淺複製與深複製JavaScript
- redis的主從複製的原理Redis
- 淺複製與深複製
- 淺複製和深複製的概念與值複製和指標複製(引用複製)有關 淺複製 “指標複製 深複製 值複製指標
- metaq原理簡介
- HSF原理簡介
- Flutter原理簡介Flutter
- MySQL 8 複製(七)——組複製基本原理MySql
- MySQL主從複製原理MySql
- Redis 主從複製原理Redis
- mysql 並行複製原理MySql並行
- MySQL 8 複製(三)——延遲複製與部分複製MySql
- MySQL 8 複製(四)——GTID與複製MySql
- 主從複製是啥或者主從複製的原理是什麼?
- mysql的主從複製 原理講解MySql
- MySQL 複製 - 效能與擴充套件性的基石:概述及其原理MySql套件
- Redis主從複製原理剖析Redis
- Python中的賦值與淺複製與深複製之間的關係Python賦值
- 深入 Redis 主從複製的原理詳解Redis
- 深入詳解Redis 主從複製的原理!Redis
- 分散式資料庫的複製原理 - Quastor分散式資料庫AST
- 深入瞭解MySQL主從複製的原理MySql
- Xposed原理簡介及其精簡化
- MySQL 8 複製(十)——組複製效能與限制MySql
- Python 列表切片陷阱:引用、複製與深複製Python
- ppium簡介及工作原理
- 詳談Redis主從複製原理Redis
- Mysql主從複製原理及搭建MySql
- MySQL 主從複製原理不再難MySql
- Redis 主從複製技術原理Redis