實戰goldengate:安裝配置+資料初始化+單向DML複製

1.安裝軟體
1.1 下載goldengate

1.2 設定ORACLE_HOME and ORACLE_SID等環境變數
確保安裝的oracle例項設定了正確的ORACLE_HOME以及ORACLE_SID，
當ogg程式連線資料庫時會引用它們。

1.3 設定共享庫的環境變數
確保ggsci或其他ogg程式的正常執行需要正確設定共享庫路徑，
如果設定不正確在執行ggsci時會報錯“./ggsci: error while loading shared libraries”
export LD_LIBRARY_PATH=/opt/oracle/db_1/lib:$LD_LIBRARY_PATH
/opt/oracle/db_1為oracle軟體安裝目錄

1.4安裝ogg
1.4.1 解壓軟體包
 mkdir /opt/ogg/11.2 -p
unzip ogg112101_fbo_ggs_Linux_x64_ora10g_64bit.zip 
tar -xvf fbo_ggs_Linux_x64_ora10g_64bit.tar

1.4.2 建立ogg工作目錄
./ggsci
CREATE SUBDIRS
EXIT


2.啟用ogg的ddl複製
2.1 建立相應的使用者以及表空間
sqlplus / as sysdba
create tablespace ogg_tbs datafile '/opt/oracle/oradata/ogg1/ogg_tbs01.dbf' size 50M autoextend on;
create user oggadmin identified by oracle default tablespace ogg_tbs quota unlimited on ogg_tbs;
grant dba to oggadmin;

2.2 建立全域性引數檔案
./ggsci
EDIT PARAMS ./GLOBALS
GGSCHEMA oggadmin
EXIT

2.3 以sysdba角色執行相應指令碼
@marker_setup.sql
alter system set RECYCLEBIN=off;  --執行ddl_setup前必須保證關閉資料庫的回收站特性
@ddl_setup.sql
@role_setup.sql
GRANT GGS_GGSUSER_ROLE to oggadmin;   
@ddl_enable.sql
NOTE:在源端ogg的ddl支援是預設關閉的，如果需要啟用的話需在extract程式的引數檔案中加入ddl引數；
在目標端ogg的ddl支援是預設開啟的，如果有其他需求可以在replicat程式的引數檔案中使用ddl引數來
過濾或或者忽略某些ddl操作。


3.配置ogg instance
3.1 配置mangager
./ggsci
EDIT PARAMS MGR
PORT 3809
DYNAMICPORTLIST 3800-3820

3.2 配置extract  --源端
./ggsci
EDIT PARAMS ext1
EXTRACT ext1
USERID oggadmin, PASSWORD oracle
EXTTRAIL /opt/ogg/11.2/dirdat/lt
DDL INCLUDE MAPPED --讓extract程式捕獲ddl
TABLE source.*;

3.3 配置data-pump  --源端
./ggsci
EDIT PARAMS pump1
EXTRACT pump1
USERID oggadmin, PASSWORD oracle
RMTHOST 10.10.2.118, MGRPORT 3809 
RMTTRAIL /opt/ogg/11.2/dirdat/rt
TABLE source.*;

3.4 配置replicat  --目標端
3.4.1 建立checkpoint table 
./ggsci
dblogin userid oggadmin,password oracle
add checkpointtable oggadmin.checkpoint
EDIT PARAMS ./GLOBALS
CHECKPOINTTABLE oggadmin.checkpoint


3.4.2 建立replicat引數檔案
./ggsci
EDIT PARAMS rep1
REPLICAT rep1
USERID oggadmin, PASSWORD oracle
DBOPTIONS SUPPRESSTRIGGERS
DBOPTIONS DEFERREFCONST
ASSUMETARGETDEFS
DISCARDFILE /opt/ogg/11.2/disc.log
MAP source..*, TARGET target.*;


4.配置oracle database for ogg
4.1 配置oracle database的日誌模式
sqlplus / as sysdba
shutdown immediate
startup mount
alter database archivelog;
alter database open;
ALTER DATABASE FORCE LOGGING;
alter database add supplemental log data;
select SUPPLEMENTAL_LOG_DATA_MIN,FORCE_LOGGING,LOG_MODE from v$database;  --查詢資料庫日誌模式

4.2 建立測試使用者以及測試表
sqlplus / as sysdba --源端
create user source identified by oracle;
grant connect,resource to source;
conn source/oracle
create table test(id int,name varchar2(10));
begin
for i in 1..3 loop
insert into test values(i,'a'||i);
end loop;
commit;
end;
sqlplus / as sysdba --目標端
create user target identified by oracle;
grant connect,resource to target;

4.3 啟用表級別的補充日誌 --源端
./ggsci 
dblogin userid oggadmin,password oracle
ADD TRANDATA source.*  
NOTE:執行上述操作時必須保證oracle中必須有source使用者以及該使用者下至少有一張表，否則回報如下錯誤：
ERROR: No viable tables matched specification.
如果新增補充日誌的表沒有主鍵的話會報如下警告：
WARNING OGG-00869  No unique key is defined for table 'TEST'. All viable columns will be used to 
represent the key,but may not guarantee uniqueness.  KEYCOLS may be used to define the key.


5.配置ogg initial load
5.1 配置ogg instance 
該配置已經在步驟3中完成

5.2 新增衝突處理 --目標端 
如果在初始化載入時源庫仍處於活動狀態那麼需要在replicat引數檔案中新增如下引數：
HANDLECOLLISIONS

5.3 關閉ddl同步
對於extract引數檔案，去掉如下引數：
DDL INCLUDE MAPPED

5.4 新增ogg程式 
5.4.1 新增primary extract --源端
./ggsci
ADD EXTRACT ext1,  TRANLOG, BEGIN NOW

5.4.2 新增local trail --源端
./ggsci
ADD EXTTRAIL /opt/ogg/11.2/dirdat/lt, EXTRACT ext1

5.4.3 新增data-pump extract --源端
./ggsci
ADD EXTRACT pump1, EXTTRAILSOURCE /opt/ogg/11.2/dirdat/lt

5.4.4 新增remote trail --源端
./ggsci
ADD RMTTRAIL  /opt/ogg/11.2/dirdat/rt, EXTRACT pump1

5.4.5 新增replicat --目標端 
ADD REPLICAT rep1, EXTTRAIL /opt/ogg/11.2/dirdat/rt
NOTE：新增replicat程式是提示如下錯誤：
ERROR: No checkpoint table specified for ADD REPLICAT.
這個錯誤貌似很奇怪，因為在之前的操作中已經新增了checkpoint表，你可以嘗試退出ggsci會話然後
重新登入後再次新增即可,如果還是不行可以嘗試重建checkpoint表

5.5 使用expdp/impdp初始化目標端
5.5.1 啟動manager 
./ggsci
START MANAGER

5.5.2 啟動primary extract --源端
./ggsci
START EXTRACT ext1
NOTE:這裡啟動extract程式時報如下錯誤：
ERROR   OGG-00303  Oracle GoldenGate Capture for Oracle, ext1.prm:  USERID and PASSWORD required.
這裡錯誤的原因是extract的引數檔案中userid和password引數隔行了，這兩個引數需要在同一行否則ogg會報上述錯誤

5.5.3 啟動data-pump extract --源端
./ggsci
START EXTRACT pump1

5.5.4 使用expdp/impdp完成資料初始化
查詢源庫當前scn --源庫
sqlplus / as sysdba
select current_scn from v$database;
CURRENT_SCN
-----------
     606390

匯出源庫資料 --源庫
expdp system/oracle directory=dump_dir dumpfile=source.dmp  schemas=source flashback_scn=606390

模擬生產環境中源庫的資料變化 --源庫
sqlplus source/oracle
select * from test;
        ID NAME
---------- ----------
         1 a1
         2 a2
         3 a3
delete test where id=1;
commit;
insert into test values(4,'a4');
insert into test values(5,'a5');
commit;
update test set name='aa'||id where mod(id,2)=0;
commit;
SQL> select * from test;
        ID NAME
---------- ----------
         2 aa2
         3 a3
         4 aa4
         5 a5

匯入資料到目標庫 --目標庫
impdp system/oracle  directory=dump_dir dumpfile=source.dmp remap_schema=source:target

查詢當前目標庫中的資料 --目標庫
sqlplsu target/oracle
SQL> select * from test;
        ID NAME
---------- ----------
         1 a1
         2 a2
         3 a3

5.5.5 確認replicat引數檔案設定正確 --目標端 
./ggsci
VIEW PARAMS rep1
NOTE:確認引數檔案中有HANDLECOLLISIONS引數，如果沒有使用以下命令新增
EDIT PARAMS rep1

5.5.6 指定scn啟動repicat --目標端 
./ggsci
start rep1, aftercsn 606390
NOTE:啟動replicat程式報如下錯誤：
OGG-00868  Oracle GoldenGate Delivery for Oracle, rep1.prm:  ORA-06550: line 1, column 7:
PLS-00201: identifier 'SYS.DBMS_STREAMS_ADM_UTL_INVOK' must be declared
ORA-06550: line 1, column 7:
PL/SQL: Statement ignored SQL 
BEGIN sys.dbms_streams_adm_utl_invok.SET_FOO_TRIGGER_SESSION_CONTXT (fire=>TRUE); END;.
解決辦法是授予相應許可權給ogg使用者
sqlplus / as sysdba
grant execute on DBMS_STREAMS_ADM_UTL_INVOK to oggadmin;

5.5.7 初始化完成後關閉HANDLECOLLISIONS --目標端  
./ggsci
SEND REPLICAT rep1, NOHANDLECOLLISIONS

5.5.8 驗證資料同步效果 --目標端
sqlplus target/oracle
select * from test;
        ID NAME
---------- ----------
         2 aa2
         3 a3
         4 aa4
         5 a5