	需求描述：

	同步Oracle的分割槽表到MySQL，並且該分割槽表是壓縮表，要同步到MySQL的分表。

	軟體版本：

	Oracle  11.2.0.3

	MySQL 5.6.26

	OGG for Oracle  12.1.2.1.0

	OGG for MySQL 12.1.2.1.0

	具體過程：

	資料庫安裝部分略過，注意我的實驗中Oracle字符集是AL32UTF8，MySQL是UTF8，所以配置期間一律使用預設字符集，如果兩邊字符集不一樣，注意設定字符集。

	下載軟體包：

	121210_fbo_ggs_Linux_x64_shiphome.zip

	ggs_121210_Linux_x64_MySQL_64bit.zip

	p16764834_112030_Linux-x86-64.zip

	p16764834是Oracle的補丁包，因為ogg抽取壓縮表的需要用integrated的抽取方式，該抽取方式是ogg 12c版本的新特性，需要資料庫11.2.0.3之後的版本才可以使用，11.2.0.3需要打上該補丁才可以支援該功能。

	軟體安裝：

	source端

	Oracle使用者解壓補丁包，並打上補丁

	關閉資料庫和監聽

	SQL＞ shutdown immediate;

	[oracle@testdb ~]$ lsnrctl stop

	[oracle@testdb ~]$ unzip p16764834_112030_Linux-x86-64.zip

	[oracle@testdb ~]$ cd 16764834

	[oracle@testdb 16764834]$  $ORACLE_HOME/OPatch/opatch apply

	SQL＞ @?/sqlpatch/16764834/postinstall.sql 

	解壓OGG的安裝包，使用圖形介面安裝OGG12c

	[oracle@testdb ~]$  unzip 121210_fbo_ggs_Linux_x64_shiphome.zip

	[oracle@testdb ~]$ cd fbo_ggs_Linux_x64_shiphome/Disk1/

	[oracle@testdb Disk1]$ ./runInstaller

	安裝過程很簡單，注意選擇資料庫版本是11g，安裝ogg的目錄時最好使用自己建立的目錄，此次使用的是/u01/app/ogg

	修改配置檔案

	[oracle@testdb ~]$ vi ~/.bash_profile

	export SHLIB_PATH=/u01/app/ogg:$ORACLE_HOME/lib

	export PATH=$ORACLE_HOME/bin:/bin:/usr/bin:/usr/sbin:/usr/local/bin:/u01/app/ogg:$PATH

	建立ogg目錄

	[oracle@testdb ~]$ source ~/.bash_profile

	[oracle@testdb ~]$ cd /u01/app/ogg

	[oracle@testdb ogg]$ ./ggsci

	GGSCI (tbrac01) 1> create subdirs

	Creating subdirectories under current directory /u01/app/ogg

	Parameter files                /u01/app/ogg/dirprm: already exists

	Report files                   /u01/app/ogg/dirrpt: created

	Checkpoint files               /u01/app/ogg/dirchk: created

	Process status files           /u01/app/ogg/dirpcs: created

	SQL script files               /u01/app/ogg/dirsql: created

	Database definitions files     /u01/app/ogg/dirdef: created

	Extract data files             /u01/app/ogg/dirdat: created

	Temporary files                /u01/app/ogg/dirtmp: created

	Stdout files                   /u01/app/ogg/dirout: created

	GGSCI> EDIT PARAM MGR

	PORT 7809

	target端

	root使用者解壓安裝包

	[root@Mysql-Test ~]#  mkdir /ogg

	[root@Mysql-Test ~]# mv ggs_121210_Linux_x64_MySQL_64bit.zip /ogg

	[root@Mysql-Test ~]# cd /ogg

	[root@Mysql-Test ogg]# unzip ggs_121210_Linux_x64_MySQL_64bit.zip

	[root@Mysql-Test ogg]# tar xvf ggs_Linux_x64_MySQL_64bit.tar

	[root@Mysql-Test ogg]# vi ~/.bash_profile

	export GGHOME=/ogg

	export PATH=$PATH:$GGHOME

	export LD_LIBRARY_PATH=/ogg:$LD_LIBRARY_PATH

	[root@Mysql-Test ogg]# ./ggsci

	GGSCI (Mysql-Test ) > create subdirs

	GGSCI> EDIT PARAM MGR

	PORT 7809

	異構檔案配置

	source端

	GGSCI > edit param defgen

	userid oggadmin,password oggadmin

	defsfile /u01/app/ogg/dirdef/oracle.def

	table FOG.T_AVAILALLOW;

	[oracle@testdb ~]$ cd /u01/app/ogg

	[oracle@testdb ogg]$ ./defgen paramfile /u01/app/ogg/dirprm/defgen.prm

...

	userid ggs,password ***

	defsfile /u01/app/ogg/dirdef/oracle.def

...

	將上面的oracle.def檔案copy只target端，放到ogg的目錄下  即/ogg/dirdef/oracle.def

	OGG配置

	source端

	開啟主庫的force logging和補充日誌功能

	SQL> ALTER DATABASE ARCHIVELOG;

	SQL> ALTER DATABASE OPEN;

	SQL> ALTER DATABASE FORCE LOGGING;

	SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

	SQL> ALTER SYSTEM ARCHIVE LOG CURRENT;

	SQL> SELECT name,open_mode,force_logging,supplemental_log_data_min FROM v$database;

	NAME      OPEN_MODE            FOR SUPPLEME

	--------- -------------------- --- --------

	TRAC      READ WRITE           YES YES

	建立ogg的管理使用者

	SQL> CREATE TABLESPACE goldengate DATAFILE '/u01/app/oracle/oradata/goldengate01.dbf' SIZE 100M AUTOEXTEND ON;

	SQL> CREATE USER oggadmin IDENTIFIED BY oggadmin DEFAULT TABLESPACE goldengate;

	SQL> GRANT dba TO oggadmin;

	SQL> grant execute on  UTL_FILE to oggadmin;

	執行oggadmin授權指令碼

	[ ~]$ cd /u01/app/ogg/

	[oracle@testdb ogg]$ sqlplus / as sysdba

	SQL> @marker_setup.sql

	SQL> @ddl_setup.sql

	SQL> @role_setup.sql

	SQL> grant ggs_ggsuser_role to oggadmin;

	SQL> @ddl_enable.sql

	SQL> EXEC DBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE( grantee => 'oggadmin', privilege_type => 'CAPTURE', grant_select_privileges=> true, do_grants => TRUE);

	建立抽取程式

	GGSCI > dblogin userid oggadmin,password oggadmin

	GGSCI > register extract fm1 database

	GGSCI > add extract fm1 integrated tranlog,begin now

	GGSCI > add exttrail /u01/app/ogg/dirdat/fm,extract fm1

	GGSCI > edit params fm1

	EXTRACT fm1

	USERID oggadmin, PASSWORD oggadmin

	TRANLOGOPTIONS INTEGRATEDPARAMS (MAX_SGA_SIZE 100)

	EXTTRAIL /u01/app/ogg/dirdat/fm

	DYNAMICRESOLUTION

	DDL INCLUDE MAPPED

	DDLOPTIONS ADDTRANDATA,REPORT

	FETCHOPTIONS, USESNAPSHOT, NOUSELATESTVERSION, MISSINGROW REPORT

	STATOPTIONS REPORTFETCH

	WARNLONGTRANS 1H, CHECKINTERVAL 5M

	GETTRUNCATES

	TABLE FOG.T_AVAILALLOW;

	建立投遞程式

	GGSCI> add extract df1 exttrailsource /u01/app/ogg/ogg/dirdat/fm

	GGSCI > add rmttrail /ogg/dirdat/f1,extract df1

	GGSCI > edit params df1

	EXTRACT df1

	USERID oggadmin, PASSWORD oggadmin

	RMTHOST 192.168.20.60, MGRPORT 7809

	RMTTRAIL /ogg/dirdat/f1

	passthru

	table FOG.T_AVAILALLOW;

	target端

	建立要同步的資料庫

	mysql> create database availallow;

	按照規劃建好分表，表結構要跟主庫的結構相同，有些欄位型別Oracle和MySQL不同需要做相應修改。我這裡按日期每年一張表。

	mysql> show tables;

	+----------------------+

	| Tables_in_availallow |

	+----------------------+

	| checkpoint           |

	| checkpoint_lox       |

	| t_availallow_2013    |

	| t_availallow_2014    |

	| t_availallow_2015    |

	| t_availallow_2016    |

	| t_availallow_2017    |

	| t_availallow_2018    |

	| t_availallow_2019    |

	| t_availallow_2020    |

	| t_availallow_2021    |

	| t_availallow_2022    |

	| t_availallow_2023    |

	| t_availallow_2024    |

	| t_availallow_2025    |

	| t_availallow_2026    |

	| t_availallow_2027    |

	| t_availallow_2028    |

	| t_availallow_2029    |

	| t_availallow_2030    |

	| t_availallow_2031    |

	| t_availallow_2032    |

	| t_availallow_2033    |

	| t_availallow_2034    |

	| t_availallow_2035    |

	| t_availallow_2036    |

	| t_availallow_2037    |

	| t_availallow_2038    |

	| t_availallow_2039    |

	| t_availallow_2040    |

	| t_availallow_max     |

	| t_availallow_min     |

	+----------------------+

	32 rows in set (0.00 sec)

	GGSCI > dblogin sourcedb availallow@localhost:3306 userid root password test123

	建立checkpoint表

	GGSCI > add checkpointtable availallow.checkpoint

	新增應用程式

	GGSCI > add replicat rp1,exttrail /ogg/dirdat/f1,checkpointtable availallow.checkpoin

	GGSCI > edit params rp1

	replicat rp1

	targetdb availallow@localhost:3306 userid root password test123

	sourcedefs /ogg/dirdef/oracle.def

	handlecollisions

	discardfile /ogg/dirrpt/R3.dsc,purge

	map fog.t_availallow,target availallow.t_availallow_min,where (availid < 20140000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2014,where (availid >= 20140000000000000000 and availid < 20150000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2015,where (availid >= 20150000000000000000 and availid < 20160000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2016,where (availid >= 20160000000000000000 and availid < 20170000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2017,where (availid >= 20170000000000000000 and availid < 20180000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2018,where (availid >= 20180000000000000000 and availid < 20190000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2019,where (availid >= 20190000000000000000 and availid < 20200000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2020,where (availid >= 20200000000000000000 and availid < 20210000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2021,where (availid >= 20210000000000000000 and availid < 20220000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2022,where (availid >= 20220000000000000000 and availid < 20230000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2023,where (availid >= 20230000000000000000 and availid < 20240000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2024,where (availid >= 20240000000000000000 and availid < 20250000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2025,where (availid >= 20250000000000000000 and availid < 20260000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2026,where (availid >= 20260000000000000000 and availid < 20270000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2027,where (availid >= 20270000000000000000 and availid < 20280000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2028,where (availid >= 20280000000000000000 and availid < 20290000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2029,where (availid >= 20290000000000000000 and availid < 20300000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2030,where (availid >= 20300000000000000000 and availid < 20310000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2031,where (availid >= 20310000000000000000 and availid < 20320000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2032,where (availid >= 20320000000000000000 and availid < 20330000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2033,where (availid >= 20330000000000000000 and availid < 20340000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2034,where (availid >= 20340000000000000000 and availid < 20350000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2035,where (availid >= 20350000000000000000 and availid < 20360000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2036,where (availid >= 20360000000000000000 and availid < 20370000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2037,where (availid >= 20370000000000000000 and availid < 20380000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2038,where (availid >= 20380000000000000000 and availid < 20390000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2039,where (availid >= 20390000000000000000 and availid < 20400000000000000000);

	map fog.t_availallow,target availallow.t_availallow_max,where (availid >= 20400000000000000000);

	初始化資料

	source端

	GGSCI > add extract init,sourceistable

	GGSCI > edit params init

	extract init

	userid oggadmin password oggadmin

	rmthost 192.168.20.60,mgrport 7809

	rmttask replicat,group repinit

	table fog.t_availallow;

	target端

	GGSCI > add replicat repinit,specialrun

	GGSCI > edit params repinit

	replicat repinit

	targetdb availallow@localhost:3336 userid root password test123

	sourcedefs /ogg/dirdef/oracle.def

	discardfile /ogg/dirrpt/repinit.dsc,purge

	map fog.t_availallow,target availallow.t_availallow_min,where (availid < 20140000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2014,where (availid >= 20140000000000000000 and availid < 20150000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2015,where (availid >= 20150000000000000000 and availid < 20160000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2016,where (availid >= 20160000000000000000 and availid < 20170000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2017,where (availid >= 20170000000000000000 and availid < 20180000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2018,where (availid >= 20180000000000000000 and availid < 20190000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2019,where (availid >= 20190000000000000000 and availid < 20200000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2020,where (availid >= 20200000000000000000 and availid < 20210000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2021,where (availid >= 20210000000000000000 and availid < 20220000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2022,where (availid >= 20220000000000000000 and availid < 20230000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2023,where (availid >= 20230000000000000000 and availid < 20240000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2024,where (availid >= 20240000000000000000 and availid < 20250000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2025,where (availid >= 20250000000000000000 and availid < 20260000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2026,where (availid >= 20260000000000000000 and availid < 20270000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2027,where (availid >= 20270000000000000000 and availid < 20280000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2028,where (availid >= 20280000000000000000 and availid < 20290000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2029,where (availid >= 20290000000000000000 and availid < 20300000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2030,where (availid >= 20300000000000000000 and availid < 20310000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2031,where (availid >= 20310000000000000000 and availid < 20320000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2032,where (availid >= 20320000000000000000 and availid < 20330000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2033,where (availid >= 20330000000000000000 and availid < 20340000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2034,where (availid >= 20340000000000000000 and availid < 20350000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2035,where (availid >= 20350000000000000000 and availid < 20360000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2036,where (availid >= 20360000000000000000 and availid < 20370000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2037,where (availid >= 20370000000000000000 and availid < 20380000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2038,where (availid >= 20380000000000000000 and availid < 20390000000000000000);

	map fog.t_availallow,target availallow.t_availallow_2039,where (availid >= 20390000000000000000 and availid < 20400000000000000000);

	map fog.t_availallow,target availallow.t_availallow_max,where (availid >= 20400000000000000000);

	首次初始化啟動OGG

	source端先啟動抽取程式和投遞程式

	GGSCI > start fm1

	GGSCI > start df1

	source端啟動初始化程式

	GGSCI > start init

	target端觀察資料初始化情況，檢視資料是否完成初始化

	GGSCI > view report repinit

	待資料初始化完成，啟動target端的應用程式

	GGSCI > start rp1

	確認初始化資料載入完成後關閉改變同步Replicat程式rep1的handlecollisions。

	GGSCI (gc.yxd.com) 1> send rp1,nohandlecollisions

	GGSCI > edit params repinit

	handlecollisions修改為nohandlecollisions

	小結：

	1、ogg在抽取和應用程式中有可以使用where和filter來現在資料同步的條件，filter相較where更加靈活，但是在實驗中發現使用filter對比id的時候，數字型別超過20位會丟擲異常，

	ERROR OGG-01072 NUMCNV_getNumeric： Buffer overflow, needed: 20, allocated: 19

	查的是OGG的bug所致，較高版本中才得以修復，MySQL版本的ogg又比較低，所以無奈才使用where方式。

	2、資料初始化非常重要，注意首次開啟ogg的順序，合理使用handlecollisions引數保證資料完整可用。

	3、選擇filter或者where進行運算元據時，注意選擇的條件要儘量是主鍵，如果不是主鍵需要在抽取資料時加上FETCHBEFOREFILTER引數，比如FETCHBEFOREFILTER, FETCHCOLS (age)

	參考資料地址：

	OGG 12C Oracle to Mysql

	http://blog.csdn.net/zhengwei125/article/details/46602977

	GoldenGate 之 Oracle to Mysql：

	Mapping and Manipulating Data：

	OGG-01072 bug：

	http://goldengatereplication.blogspot.com/2012/03/oracle-goldengate-numcnvgetnumeric.html

OGG Oracle 分割槽壓縮表到 MySQL分表的實現

相關文章

OGG Oracle 分割槽壓縮表 到 MySQL分表的實現

相關文章

OGG Oracle 分割槽壓縮表到 MySQL分表的實現