GoldenGate实施步骤

穿精又带淫゛_ 提交于 2020-02-18 07:54:23

一、GoldenGate实施环境

source database:oracle 11.2.0.3

target  database:oracle 11.2.0.3

需要配置的进程如下:

source database:extract、data pump

target database:replicat

说明如下:

1、主提取进程首先将trail生成在本地,然后datapump读取本地trail再发送到目标服务器,即便网络故障,主提取进程仍然能随着事务生成trail文件,而datapump则会暂时停止传输,等待网络通畅后在将堆积的本地trail文件发送至目标服务器,从而实现了断点传输的功能。在实际应用中,每一个同步流程都应该配置datapump以应对网络问题。

2、配置进程检查点(checkpoint):检查点记录了进程读写的位置信息用以数据恢复,目的是为了防止进程因系统、网络崩溃而导致的数据丢失。oracle推荐将复制进程的检查点信息存放到数据库表中进行管理:

首先在./globals参数文件中加入:

CHECKPOINTTABLE [<owner>.<table>] --指定的检查点记录表

然后运行:

GGSCI> DBLOGIN USERID <db_user>, PASSWORD <pw>

GGSCI> ADD CHECKPOINTTABLE [<owner>.<table>] --生成这个检查点记录表

3、GoldenGate的DDL同步只支持两边一致的数据库,限制条件较多(如不能进行字段映射、转换等),具体可以参考官方文档。DDL的抓取不是通过日志抓取来捕获的,而是通过触发器来实现,所以对源数据库的性能影响要比单纯的数据抓取要大很多,可谓屏弃了GoldenGate的优势。尽量不要使用GoldenGate的DDL复制功能,在大多数业务系统中,实际上不会有频繁的数据库结构变动,完全可以通过手工的方式进行维护。确实有大量DDL操作的环境,如果可以,还是推荐物理DG之类的替换方案;确实要使用GoldenGate的DDL复制,请详细参考官方文档的限制和说明。

4、如果需要配置DDL支持,需运行如下几个脚本:marker_setup.sql,ddl_setup.sql,role_setup.sql,grant GGS_GGSUSER_ROLE to <user>; ddl_enable.sql

5、配置source和target端tnsnames.ora

6、查询是否有不支持的数据类型

7、是否有压缩表和不支持的表类型

8、禁用容灾端数据库的外键,trigger和有DML操作的JOB

二、GoldenGate软件安装,

2.1 Unix下安装 在source database 和 target database 都执行如下操作:

# su - oracle

/home/oracle> mkdir goldengate

在此goldengate下面解压下载的安装包

/home/oracle>cd goldengate

/home/oracle/goldengate> ldd ggsci

将列出所有需要的lib和当前缺少的

添加环境变量

在/home/oracle/. profile文件里添加如下内容:

export PATH=/home/oracle/goldengate:$PATH

export LIBPATH =/home/oracle/goldengate:$ORACLE_HOME/lib;

export GGATE=/home/oracle/goldengate

注:

IBM AIX:LIBPATH

HPUX: SHLIB_PATH

SOLARIS/LINUX:LD_LIBRARY_PATH

使环境变量生效

source /home/oracle/. profile

2.2创建目录 使用ggsci工具,创建必要的目录

/home/oracle/goldengate > ./ggsci

--调用ggsci 工具

GGSCI> create subdirs

Creating subdirectories under currentdirectory /home/oracle/goldengate

Parameter files                /home/oracle/goldengate/dirprm: created

Report files                   /home/oracle/goldengate/dirrpt: created

Checkpoint files               /home/oracle/goldengate/dirchk: created

Process status files           /home/oracle/goldengate/dirpcs: created

SQL script files               /home/oracle/goldengate/dirsql: created

Database definitions files     /home/oracle/goldengate/dirdef: created

Extract data files             /home/oracle/goldengate/dirdat: created

Temporary files                /home/oracle/goldengate/dirtmp: created

Veridata files                 /home/oracle/goldengate/dirver: created

Veridata Lock files            /home/oracle/goldengate/dirver/lock: created

Veridata Out-Of-Sync files     /home/oracle/goldengate/dirver/oos: created

Veridata Out-Of-Sync XML files/home/oracle/goldengate/dirver/oosxml: created

Veridata Parameter files       /home/oracle/goldengate/dirver/params: created

Veridata Report files          /home/oracle/goldengate/dirver/report: created

Veridata Status files          /home/oracle/goldengate/dirver/status: created

Veridata Trace files           /home/oracle/goldengate/dirver/trace: created

Stdout files                   /home/oracle/goldengate/dirout: created

以上就是GG 的安装,在source 和target database 都执行。

三、配置Source database

注意:只配置Source database,而非target database

归档模式、附加日志、强制日志

Oracle数据库需要开启归档日志,并开启最小附加日志模式。

SQL>archive log list;(需要mount状态,并重启数据库,步骤略)

SQL> select supplemental_log_data_min from v$database; --查看是否开启了最小附加日志模式

SQL> alter database add supplemental log data; --开启最小附加日志模式

实际生产应用中,最好同时打开ORACLE的强制日志模式, 以防止源数据库因直接路径加载忽略redo生成而导致这部分数据无法同步:

SQL> select force_logging from v$database;

SQL> Alter database force logging;

开启最小附加日志模式还不够,还需要打开表级的补全日志, 可以在GoldenGate中使用add trandata命令强制重做日志记录主键值, 以保证在目标端能成功复制:

GGSCI> dblogin userid username,password pw --GoldenGate中登录OARCLE数据库

GGSCI>add trandata username.<tablename> --表名可以使用通配符

注:此方法必须要求表有主键值或者非空唯一索引键, 如果需要同步的只是一个用户或者某几个用户下的某些表, 则推荐此方法即可,如下步骤则不需要。

GGSCI> add trandata coss3.per_test,nokey,cols(sampletime, objectid)

--无主键指定字段补全的示例

也可以在数据库中打开:

SQL> alter table <tablename> add supplemental log data (primary key) columns;

千万不要小看这步日志设置,其实在GoldenGate的配置中,这步是最容易出错的环节。 如果开启DDL复制做冗灾备份,最好直接在数据库级别打开补全日志:

SQL> alter database add supplemental log data (primary key,unique,foreign key) columns;

检查一下,全是YES就OK了(整个数据库级别补全)

SQL> select supplemental_log_data_min,

supplemental_log_data_pk,supplemental_log_data_ui

from v$database;

关于Oracle补全日志,如果表中无主键, 则补全一个非空唯一索引列, 如果非空唯一索引键也没, 那么会补全除了LOB和LONG类型字段以外的所有列,更多信息请参考官方文档。

四、golden gate进程配置

4.1 在Source和Target上配置Manager Source:

GGSCI>edit param mgr --配置GoldenGate主进程参数

port 7801 --GoldenGate主进程端口号

DYNAMICPORTLIST 7802-7810 -GoldenGate为进程间通讯动态分配的端口段,注意这里如果分配的端口端少于extract-replicat进程对的话,会导致部分进程因通讯失败而出错。

AUTOSTART EXTRACT *

AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 7

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3

LAGREPORTHOURS 1

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

target:

GGSCI>edit param mgr

port 7801

DYNAMICPORTLIST 7802-7810

AUTOSTART REPLICAT *

AUTORESTART REPLICAT *,RETRIES 5,WAITMINUTES 7

PURGEOLDREPLICAT S ./dirdat/*,usecheckpoints, minkeepdays 3

LAGREPORTHOURS 1

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

保存,生成的参数文件保存在GG_HOME\ dirprm下

然后可以启动GoldenGate主控制进程:

GGSCI>start mgr

GGSCI>info all --查看进程状态

如果进程MANAGER状态显示为RUNNING则表示主进程已在运行

4.2 source端添加提取进程(extract process) 增加一个抽取:

GGSCI > add extract ext1,tranlog, begin now

GGSCI > edit params ext1

EXTRACT ext1

setenv (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")

userid tianch3,password tianch3

GETTRUNCATES

REPORTCOUNT EVERY 5 MINUTES, RATE

numfiles 50000

DISCARDFILE ./dirrpt/extsa.dsc,APPEND,MEGABYTES 50

WARNLONGTRANS 2h,CHECKINTERVAL 3m

EXTTRAIL ./dirdat/sa

DYNAMICRESOLUTION

table rme_eqp;

4.3 source端添加data pump进程 GGSCI> ADD EXTRACT dpext1, EXTTRAILSOURCE ./dirdat/sa, BEGIN now

GGSCI>view params dpext1

EXTRACT dpext1

RMTHOST 172.16.1.81, MGRPORT 7801

PASSTHRU --直通模式或普通模式

numfiles 50000

RMTTRAIL ./dirdat/ra

DYNAMICRESOLUTION

table rme_eqp;

GGSCI> add rmttrail ./dirdat/ra extract dpext1

4.4 target端创建表空间及授权

Create tablespace tianch datafile size 10240m;

CREATE USER sjcktb IDENTIFIED by oracle DEFAULT TABLESPACE tianch;

GRANT CONNECT TO sjcktb;

GRANT RESOURCE TO sjcktb;

GRANT CREATE SESSION to sjcktb;

GRANT ALTER SESSION to sjcktb;

GRANT CREATE TABLE TO sjcktb;

GRANT FLASHBACK ANY TABLE TO sjcktb;

GRANT SELECT ANY DICTIONARY TO sjcktb;

GRANT SELECT ANY TABLE TO sjcktb;

GRANT ALTER ANY TABLE TO sjcktb;

GRANT UPDATE ANY TABLE TO sjcktb;

GRANT DELETE ANY TABLE TO sjcktb;

授权比较繁琐,有直接给dba权限的。

4.5 增加target进程检查点 Add a Replicat checkpoint table

GGSCI >edit params ./globals

CHECKPOINTTABLE sjcktb.checkpoint

GGSCI > dblogin userid sjcktb, password sjcktb

Successfully logged into database.

GGSCI >add CHECKPOINTTABLE sjcktb.checkpoint

4.6 配置target同步队列

GGSCI>add replicat rep1 exttrail ./dirdat/ra, checkpointtable sjcktb.checkpoint

GGSCI>view param rep1

REPLICAT rep1

USERID sjcktb,PASSWORD sjcktb

SETENV (NLS_LANG = "American_America.ZHS16GBK")

REPORT AT 01:59

REPORTCOUNT EVERY 30 MINUTES, RATE

REPERROR DEFAULT, ABEND

numfiles 50000

HANDLECOLLISIONS --去重

assumetargetdefs

DISCARDFILE ./dirrpt/repsa.dsc, APPEND, MEGABYTES 50

GETTRUNCATES

ALLOWNOOPUPDATES

map rme_eqp, target sjcktb.rme_eqp;

五、start源端进程,使用数据泵初始化加载

GGSCI>start mgr

GGSCI>start extract ext1

GGSCI>start extract dpext1

GGSCI>info all

确认进程全部running

实际部署时需要注意正确的执行顺序,大致可以分为以下几步:

(1) 源端和目标端创建配置各个同步进程。

(2) 开启源端同步抓取进程,开始捕获变化。

(3) 开启初始化进程,开始数据初始化加载。

(4) 等初始化加载结束,开启目标端复制应用进程,开始实时同步应用。

六、golden gate维护

1、启动源端管理进程

GGSCI > start mgr // 启动 manager进程

2、启动所有进程

GGSCI > start ext * //启动所有抽取进程

3、查看进程状态是否为Running(表示已经启动);

GGSCI > info ext * //查看所有进程信息

4、SCI > start rep * //启动所有投递进程

5、GGSCI>info extXX,showch //查询extXX进程回滚检查点

6、GGSCI > info all //查询所有进程状态

7、GGSCI > view report rep1 //查看复制进程报告

8、GGSCI > view ggsevt //就是我们在goldengate目录下看到的ggserr.log

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!