GoldenGate的簡介與複製原理
GoldenGate的簡介與複製原理
GoldenGate軟體是一種基於日誌的結構化資料複製軟體,它透過解析源資料庫線上日誌或歸檔日誌獲得資料的增量變化,再將這些變化應用到目標資料庫,從而實現源資料庫與目標資料庫同步。GoldenGate 可以在異構的IT基礎結構(包括幾乎所有常用作業系統平臺和資料庫平臺)之間實現大量資料亞秒一級的實時複製,從而在可以在應急系統、線上報表、實時資料倉儲供應、交易跟蹤、資料同步、集中/分發、容災等多個場景下應用。
GoldenGate的資料整合技術實施主要含3程式(資料抽取程式、傳輸程式、應用程式),2個檔案(源資料庫、目標資料庫)。
GoldenGate的工作原理:
利用捕捉程式在源系統端讀取線上日誌或歸檔日誌,然後進行解析,只提取其中資料的變化如增、刪、改操作,並將相關資訊轉換為自定義的中間格式存放在佇列檔案中,再利用傳送程式將佇列檔案透過TCP/IP傳送到目標系統。捕捉程式在每次讀完log中的資料變化並在資料傳送到目標系統後,會寫檢查點,記錄當前完成捕捉的log位置,檢查點的存在可以使捕捉程式在中止並恢復後可從檢查點位置繼續複製;
目標系統接受資料變化並快取到佇列中,佇列為一系列臨時儲存資料變化的檔案,等待投遞程式讀取資料;
應用程式從佇列中讀取資料變化並建立對應的SQL語句,透過資料庫的本地介面執行,提交到資料庫成功後更新自己的檢查點,記錄已經完成複製的位置。
GoldenGate軟體是一種基於日誌的結構化資料複製軟體,它透過解析源資料庫線上日誌或歸檔日誌獲得資料的增量變化,再將這些變化應用到目標資料庫,從而實現源資料庫與目標資料庫同步。GoldenGate 可以在異構的IT基礎結構(包括幾乎所有常用作業系統平臺和資料庫平臺)之間實現大量資料亞秒一級的實時複製,從而在可以在應急系統、線上報表、實時資料倉儲供應、交易跟蹤、資料同步、集中/分發、容災等多個場景下應用。
GoldenGate的資料整合技術實施主要含3程式(資料抽取程式、傳輸程式、應用程式),2個檔案(源資料庫、目標資料庫)。
GoldenGate的工作原理:
利用捕捉程式在源系統端讀取線上日誌或歸檔日誌,然後進行解析,只提取其中資料的變化如增、刪、改操作,並將相關資訊轉換為自定義的中間格式存放在佇列檔案中,再利用傳送程式將佇列檔案透過TCP/IP傳送到目標系統。捕捉程式在每次讀完log中的資料變化並在資料傳送到目標系統後,會寫檢查點,記錄當前完成捕捉的log位置,檢查點的存在可以使捕捉程式在中止並恢復後可從檢查點位置繼續複製;
目標系統接受資料變化並快取到佇列中,佇列為一系列臨時儲存資料變化的檔案,等待投遞程式讀取資料;
應用程式從佇列中讀取資料變化並建立對應的SQL語句,透過資料庫的本地介面執行,提交到資料庫成功後更新自己的檢查點,記錄已經完成複製的位置。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29500582/viewspace-1310843/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- GoldenGate的複製原理Go
- GoldenGate簡單複製環境的搭建Go
- GoldenGate複製的幾個簡單測試Go
- oracle 高階複製簡介Oracle
- goldengate配置DDL複製Go
- 資料複製_GoldenGateGo
- GoldenGate單向複製配置(支援DDL複製)Go
- goldengate單向複製的配置Go
- mysql 複製原理與實踐MySql
- MySQL-主從複製簡介MySql
- goldengate基於表複製Go
- GoldenGate多對一複製Go
- goldengate 單向複製配置Go
- Varnish(一)簡介與原理
- JavaScript複製dom元素簡單介紹JavaScript
- oracle goldengate 雙向複製配置OracleGo
- oracle goldengate 雙活複製避免迴圈複製引數OracleGo
- MySQL 傳統複製與 GTID 複製原理及操作詳解MySql
- SQL複製的工作原理SQL
- GoldenGate在異構環境下的複製Go
- goldengate 刪除複製程式步驟Go
- GoldenGate配置(三)之DDL複製配置Go
- EOFDELAYCSECS GOLDENGATE提升複製實時性Go
- GoldenGate DML複製增刪改表Go
- GoldenGate的Logdump工具使用簡介Go
- Redis主從複製工作原理和步驟介紹Redis
- Mysql的複製原理以及流程MySql
- solr主從複製的原理Solr
- MongoDB複製集原理MongoDB
- mysql複製原理圖MySql
- 資料庫複製(一)–複製介紹資料庫
- JavaScript中的淺複製與深複製JavaScript
- redis的主從複製的原理Redis
- GoldenGate異種資料庫之間的複製Go資料庫
- 搭建oracle 11.2.0.4環境下的goldengate複製OracleGo
- goldengate針對不同表名及列名的複製Go
- goldengate 過濾對某張表的複製操作Go
- GoldenGate schema級複製 實施過程Go