一、GoldenGate实施环境
source database:oracle 11.2.0.3
target database:oracle 11.2.0.3
需要配置的进程如下:
source database:extract、data pump
target database:replicat
说明如下:
1、主提取进程首先将trail生成在本地,然后datapump读取本地trail再发送到目标服务器,即便网络故障,主提取进程仍然能随着事务生成trail文件,而datapump则会暂时停止传输,等待网络通畅后在将堆积的本地trail文件发送至目标服务器,从而实现了断点传输的功能。在实际应用中,每一个同步流程都应该配置datapump以应对网络问题。
2、配置进程检查点(checkpoint):检查点记录了进程读写的位置信息用以数据恢复,目的是为了防止进程因系统、网络崩溃而导致的数据丢失。oracle推荐将复制进程的检查点信息存放到数据库表中进行管理:
首先在./globals参数文件中加入:
CHECKPOINTTABLE [<owner>.<table>] --指定的检查点记录表
然后运行:
GGSCI> DBLOGIN USERID <db_user>, PASSWORD <pw>
GGSCI> ADD CHECKPOINTTABLE [<owner>.<table>] --生成这个检查点记录表
3、GoldenGate的DDL同步只支持两边一致的数据库,限制条件较多(如不能进行字段映射、转换等),具体可以参考官方文档。DDL的抓取不是通过日志抓取来捕获的,而是通过触发器来实现,所以对源数据库的性能影响要比单纯的数据抓取要大很多,可谓屏弃了GoldenGate的优势。尽量不要使用GoldenGate的DDL复制功能,在大多数业务系统中,实际上不会有频繁的数据库结构变动,完全可以通过手工的方式进行维护。确实有大量DDL操作的环境,如果可以,还是推荐物理DG之类的替换方案;确实要使用GoldenGate的DDL复制,请详细参考官方文档的限制和说明。
4、如果需要配置DDL支持,需运行如下几个脚本:marker_setup.sql,ddl_setup.sql,role_setup.sql,grant GGS_GGSUSER_ROLE to <user>; ddl_enable.sql
5、配置source和target端tnsnames.ora
6、查询是否有不支持的数据类型
7、是否有压缩表和不支持的表类型
8、禁用容灾端数据库的外键,trigger和有DML操作的JOB
二、GoldenGate软件安装,
2.1 Unix下安装 在source database 和 target database 都执行如下操作:
# su - oracle
/home/oracle> mkdir goldengate
在此goldengate下面解压下载的安装包
/home/oracle>cd goldengate
/home/oracle/goldengate> ldd ggsci
将列出所有需要的lib和当前缺少的
添加环境变量
在/home/oracle/. profile文件里添加如下内容:
export PATH=/home/oracle/goldengate:$PATH
export LIBPATH =/home/oracle/goldengate:$ORACLE_HOME/lib;
export GGATE=/home/oracle/goldengate
注:
IBM AIX:LIBPATH
HPUX: SHLIB_PATH
SOLARIS/LINUX:LD_LIBRARY_PATH
使环境变量生效
source /home/oracle/. profile
2.2创建目录 使用ggsci工具,创建必要的目录
/home/oracle/goldengate > ./ggsci
--调用ggsci 工具
GGSCI> create subdirs
Creating subdirectories under currentdirectory /home/oracle/goldengate
Parameter files /home/oracle/goldengate/dirprm: created
Report files /home/oracle/goldengate/dirrpt: created
Checkpoint files /home/oracle/goldengate/dirchk: created
Process status files /home/oracle/goldengate/dirpcs: created
SQL script files /home/oracle/goldengate/dirsql: created
Database definitions files /home/oracle/goldengate/dirdef: created
Extract data files /home/oracle/goldengate/dirdat: created
Temporary files /home/oracle/goldengate/dirtmp: created
Veridata files /home/oracle/goldengate/dirver: created
Veridata Lock files /home/oracle/goldengate/dirver/lock: created
Veridata Out-Of-Sync files /home/oracle/goldengate/dirver/oos: created
Veridata Out-Of-Sync XML files/home/oracle/goldengate/dirver/oosxml: created
Veridata Parameter files /home/oracle/goldengate/dirver/params: created
Veridata Report files /home/oracle/goldengate/dirver/report: created
Veridata Status files /home/oracle/goldengate/dirver/status: created
Veridata Trace files /home/oracle/goldengate/dirver/trace: created
Stdout files /home/oracle/goldengate/dirout: created
以上就是GG 的安装,在source 和target database 都执行。
三、配置Source database
注意:只配置Source database,而非target database
归档模式、附加日志、强制日志
Oracle数据库需要开启归档日志,并开启最小附加日志模式。
SQL>archive log list;(需要mount状态,并重启数据库,步骤略)
SQL> select supplemental_log_data_min from v$database; --查看是否开启了最小附加日志模式
SQL> alter database add supplemental log data; --开启最小附加日志模式
实际生产应用中,最好同时打开ORACLE的强制日志模式, 以防止源数据库因直接路径加载忽略redo生成而导致这部分数据无法同步:
SQL> select force_logging from v$database;
SQL> Alter database force logging;
开启最小附加日志模式还不够,还需要打开表级的补全日志, 可以在GoldenGate中使用add trandata命令强制重做日志记录主键值, 以保证在目标端能成功复制:
GGSCI> dblogin userid username,password pw --GoldenGate中登录OARCLE数据库
GGSCI>add trandata username.<tablename> --表名可以使用通配符
注:此方法必须要求表有主键值或者非空唯一索引键, 如果需要同步的只是一个用户或者某几个用户下的某些表, 则推荐此方法即可,如下步骤则不需要。
GGSCI> add trandata coss3.per_test,nokey,cols(sampletime, objectid)
--无主键指定字段补全的示例
也可以在数据库中打开:
SQL> alter table <tablename> add supplemental log data (primary key) columns;
千万不要小看这步日志设置,其实在GoldenGate的配置中,这步是最容易出错的环节。 如果开启DDL复制做冗灾备份,最好直接在数据库级别打开补全日志:
SQL> alter database add supplemental log data (primary key,unique,foreign key) columns;
检查一下,全是YES就OK了(整个数据库级别补全)
SQL> select supplemental_log_data_min,
supplemental_log_data_pk,supplemental_log_data_ui
from v$database;
关于Oracle补全日志,如果表中无主键, 则补全一个非空唯一索引列, 如果非空唯一索引键也没, 那么会补全除了LOB和LONG类型字段以外的所有列,更多信息请参考官方文档。
四、golden gate进程配置
4.1 在Source和Target上配置Manager Source:
GGSCI>edit param mgr --配置GoldenGate主进程参数
port 7801 --GoldenGate主进程端口号
DYNAMICPORTLIST 7802-7810 -GoldenGate为进程间通讯动态分配的端口段,注意这里如果分配的端口端少于extract-replicat进程对的话,会导致部分进程因通讯失败而出错。
AUTOSTART EXTRACT *
AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 7
PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
target:
GGSCI>edit param mgr
port 7801
DYNAMICPORTLIST 7802-7810
AUTOSTART REPLICAT *
AUTORESTART REPLICAT *,RETRIES 5,WAITMINUTES 7
PURGEOLDREPLICAT S ./dirdat/*,usecheckpoints, minkeepdays 3
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
保存,生成的参数文件保存在GG_HOME\ dirprm下
然后可以启动GoldenGate主控制进程:
GGSCI>start mgr
GGSCI>info all --查看进程状态
如果进程MANAGER状态显示为RUNNING则表示主进程已在运行
4.2 source端添加提取进程(extract process) 增加一个抽取:
GGSCI > add extract ext1,tranlog, begin now
GGSCI > edit params ext1
EXTRACT ext1
setenv (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
userid tianch3,password tianch3
GETTRUNCATES
REPORTCOUNT EVERY 5 MINUTES, RATE
numfiles 50000
DISCARDFILE ./dirrpt/extsa.dsc,APPEND,MEGABYTES 50
WARNLONGTRANS 2h,CHECKINTERVAL 3m
EXTTRAIL ./dirdat/sa
DYNAMICRESOLUTION
table rme_eqp;
4.3 source端添加data pump进程 GGSCI> ADD EXTRACT dpext1, EXTTRAILSOURCE ./dirdat/sa, BEGIN now
GGSCI>view params dpext1
EXTRACT dpext1
RMTHOST 172.16.1.81, MGRPORT 7801
PASSTHRU --直通模式或普通模式
numfiles 50000
RMTTRAIL ./dirdat/ra
DYNAMICRESOLUTION
table rme_eqp;
GGSCI> add rmttrail ./dirdat/ra extract dpext1
4.4 target端创建表空间及授权
Create tablespace tianch datafile size 10240m;
CREATE USER sjcktb IDENTIFIED by oracle DEFAULT TABLESPACE tianch;
GRANT CONNECT TO sjcktb;
GRANT RESOURCE TO sjcktb;
GRANT CREATE SESSION to sjcktb;
GRANT ALTER SESSION to sjcktb;
GRANT CREATE TABLE TO sjcktb;
GRANT FLASHBACK ANY TABLE TO sjcktb;
GRANT SELECT ANY DICTIONARY TO sjcktb;
GRANT SELECT ANY TABLE TO sjcktb;
GRANT ALTER ANY TABLE TO sjcktb;
GRANT UPDATE ANY TABLE TO sjcktb;
GRANT DELETE ANY TABLE TO sjcktb;
授权比较繁琐,有直接给dba权限的。
4.5 增加target进程检查点 Add a Replicat checkpoint table
GGSCI >edit params ./globals
CHECKPOINTTABLE sjcktb.checkpoint
GGSCI > dblogin userid sjcktb, password sjcktb
Successfully logged into database.
GGSCI >add CHECKPOINTTABLE sjcktb.checkpoint
4.6 配置target同步队列
GGSCI>add replicat rep1 exttrail ./dirdat/ra, checkpointtable sjcktb.checkpoint
GGSCI>view param rep1
REPLICAT rep1
USERID sjcktb,PASSWORD sjcktb
SETENV (NLS_LANG = "American_America.ZHS16GBK")
REPORT AT 01:59
REPORTCOUNT EVERY 30 MINUTES, RATE
REPERROR DEFAULT, ABEND
numfiles 50000
HANDLECOLLISIONS --去重
assumetargetdefs
DISCARDFILE ./dirrpt/repsa.dsc, APPEND, MEGABYTES 50
GETTRUNCATES
ALLOWNOOPUPDATES
map rme_eqp, target sjcktb.rme_eqp;
五、start源端进程,使用数据泵初始化加载
GGSCI>start mgr
GGSCI>start extract ext1
GGSCI>start extract dpext1
GGSCI>info all
确认进程全部running
实际部署时需要注意正确的执行顺序,大致可以分为以下几步:
(1) 源端和目标端创建配置各个同步进程。
(2) 开启源端同步抓取进程,开始捕获变化。
(3) 开启初始化进程,开始数据初始化加载。
(4) 等初始化加载结束,开启目标端复制应用进程,开始实时同步应用。
六、golden gate维护
1、启动源端管理进程
GGSCI > start mgr // 启动 manager进程
2、启动所有进程
GGSCI > start ext * //启动所有抽取进程
3、查看进程状态是否为Running(表示已经启动);
GGSCI > info ext * //查看所有进程信息
4、SCI > start rep * //启动所有投递进程
5、GGSCI>info extXX,showch //查询extXX进程回滚检查点
6、GGSCI > info all //查询所有进程状态
7、GGSCI > view report rep1 //查看复制进程报告
8、GGSCI > view ggsevt //就是我们在goldengate目录下看到的ggserr.log
来源:https://www.cnblogs.com/snowballed/p/6653821.html