Extract 程式會捕獲所有已配置的需要同步的物件變化，但只會將已提交的事務傳送到遠端的 trail 檔案用於同步。當事務提交時，所有和該事務相關的日誌記錄被以事務為單元順序的記錄到 trail 檔案中。Extract 程式利用其內在的 checkpoint 機制，週期性的記錄其讀寫的位置，這種機制是為了保證 Extract 程式終止或作業系統當機，重新啟動 Extract 後，GoldenGate 可以恢復到之前的狀態，從上一個斷點繼續往下執行。透過上面的兩個機制，就可以保證資料的完整性了。

多個 Extract 程式可以同時對不同物件進行操作。例如，可以在一個 Extract 程式抽取並向目標端發生事務資料的同時，利用另一個Extract 程式抽取的資料做報表。或者，兩個 Extract 程式可以利用兩個 trail 檔案，同時抽取並並行傳輸給兩個 replicat 程式以減少資料同步的延時。

抽取程式和傳輸程式可以配置在一個程式完成這兩個功能，但是當網路傳輸有問題時，這樣抽取也就不能繼續執行了，所以推薦分開配置為兩個程式。

# 程式介紹

### 抽取程式

抽取程式負責從源端資料表或者日誌中捕獲資料。Extract 的作用可以按照表來時間來劃分：

1. 初始時間裝載階段：在初始資料裝載階段，Extract 程式直接從源端的資料表中抽取資料。
2. 同步變化捕獲階段：初始資料同步完成以後，Extract 程式負責捕獲源端資料的變化(DML 和 DDL)

在進行初始化轉載，或者批次同步資料時， GoldenGate 會生成 Extract 檔案來儲存資料而不是 trail 檔案。預設情況下， 只會生成一個 Extract 檔案，但如果出於作業系統對單個檔案大小限制或者其他因素的考慮，也可以透過配置生成多個 Extract 檔案。 Extract 檔案不記錄檢查點。

Extract 程式的狀態包括：

- Stopped(正常停止)
- Starting(正在啟動)
- Running(正在執行)
- Abended(Abnomal End的縮寫，標示異常結束)。

### 傳輸程式

傳輸程式執行在資料庫源端，其作用是將源端產生的本地 trail 檔案，把 trail 以資料塊的形式透過 TCP/IP 協議傳送到目標端的 Remote Trail 檔案中，這通常也是推薦的方式。

使用傳輸程式的好處是：

1. 如果目標端或者網路失敗，源端的抽取程式不會意外終止
2. 需要在不同的階段實現資料的過濾或者轉換
3. 多個源資料庫複製到資料中心
4. 資料需要複製到多個目標資料庫

抽取程式可以線上或者批次配置，他可以進行資料過濾，對映和轉換，同時他還可以配置為“直通模式”，這樣資料被傳輸到目標端時就可以直接生成所需的格式，無需另外操作。 直通模式提高了 data pump 的效率，因為生成後的物件不需要繼續進行檢索。 在大多數情況下，oracle 都建議採用 data pump。

> **注意：**無論是否使用 pump 程式，在目標端都會生成 trail 檔案

# 常用引數

### 引數

##### 程式名稱

Extract group 名稱

```
EXTRACT extdl
```

##### 環境變數

SETENV：配置系統環境變數

```
setenv(NLS_LANG = AMERICAN_AMERICA.AL32UTF8)
setenv(ORACLE_SID = oggsource)
```

##### 使用者名稱/密碼

指定 OGG 連線資料庫的使用者名稱和密碼，建立專為 goldengate 的資料庫使用者 goldengate；連線的是源端的資料庫。

```
userid goldengate, password goldengate
```

##### Trial 檔案資訊

- 抽取程式
  - EXTTRAIL：指定寫入到本地的 /u01/ogg/dirdat 目錄，檔案以 dl 開頭。
- 傳輸程式
  - RMTHOST：指定目標系統及其 GoldengateManager 程式的埠號，還用於定義是否使用壓縮排行傳輸，compress 為壓縮傳輸；
  - RMTTRAIL：trail 檔案存放位置在目標端主機上的 /u01/ogg/dirdat 目錄，檔案以 dl 開頭。

```
exttrail /u01/ogg/dirdat/dl

rmthost oggtarget, mgrport 7809
rmttrail /u01/ogg/dirdat/dl
```

##### 捕獲的內容

###### 預設

所有 DML 操作都捕獲

- 只捕獲 commit 操作
- Insert 操作：完整後映象
- Update 操作：附加日誌列和修改列、不捕獲 update 前映象值
- Delete 操作：附加日誌列

###### 引數

- DYNAMICRESOLUTION | NODYNAMICRESOLUTION：是否動態解析表名，預設為 DYNAMICRESOLUTION
- 需要複製或排除的表（ tables、 tableexclude）
  - TABLEEXCLUDE：可以使用*為萬用字元，定義需複製的表，後面需以；結尾
  - TABLEEXCLUDE：可以使用*為萬用字元，定義需要排除的表
- 哪些操作要抽取
  - GETDELETES | IGNOREDELETES：是否複製 DELETE 操作，預設複製
  - GETINSERTS | IGNOREINSERTS：是否複製 INSERT 操作，預設複製
  - GETTRUNCATES | IGNORETRUNCATES：是否複製 TRUNCATE 操作，預設不復制
  - GETUPDATEAFTERS | IGNOREUPDATEAFTERS：是否在佇列中寫入後影像，預設複製
  - GETUPDATEBEFORES | IGNOREUPDATEBEFORES：是否在佇列中寫入前影像，預設不復制
  - GETUPDATES | IGNOREUPDATES：是否複製 UPDATE 操作，預設複製
- MAP source_table, TARGET target_table
  使用 Replicat 引數檔案中的 MAP 引數將資料從源物件對映到適當的目標物件。MAP 選項指定在將資料應用到目標物件之前必須執行的處理工作，如過濾、轉換和錯誤處理。要與源物件同步的每個目標物件必須透過 MAP 引數與該源物件相關聯。可以透過萬用字元指定多個源-目標關係。

##### 最佳化

- cachemgr 引數的控制：64bit 預設最大可以用到 64g，所以要控制好，否則記憶體佔用過大

```
  cachemgr cachesize 2048M, cachedirectory ./dirtmp 4GB, cachedirectory ./dirtmp2 4GB
  ```

- cachesize：佔用 2048M 記憶體
  - cachedirectory：快取路徑及大小

- BR：預設4小時。
  場景：長事務還未結束，日誌檔案被刪除；無需還原日誌檔案，收到commit後，直接從BR目錄下的檔案寫入trial 檔案。

```
  BR BRINTERVAL 20M, BRDIR BR
  ```

- BRINTERVAL：20M表示檢查間隔是20分鐘

### 示例

##### 抽取程式

```
GGSCI (node1) 6> edit param extdl
EXTRACT extdl
setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)
setenv (ORACLE_SID = oggsource)
USERID goldengate, PASSWORD goldengate
EXTTRAIL /u01/ogg/dirdat/dl
dynamicresolution
--GETUPDATEBEFORES
--NOCOMPRESSDELETES
table myschema.maytable1;
table myschema.maytable2;
--table myschema.*;
--TABLE hq.acct, COLS (col1, col3); //只複製該表的col1和col3列
--TABLE hq.acct, COLSEXCEPT (col4); //複製該表除col4外的所有列
```

##### 傳輸程式

```
GGSCI (node1) 8> edit params dpedl
extract dpedl
SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)
USERID goldengate, PASSWORD goldengate
PASSTHRU
--REPORT AT 01:59
--reportrollover at 02:00
RMTHOST 192.168.66.112, MGRPORT 7809,compress
RMTTRAIL /u01/ogg/dirdat/dl
dynamicresolution
table myschema.mytable1;
table myschema.mytable2;
TABLE hq.acct; //注意此時不用再過濾cols了。
```

OGG：Extract 簡介

相關文章