异构数据库

SymmetricDS 太麻烦，而且是每张表都要配置触发器，性能影响太大了。 其他类型数据库到GP： 转自：https://blog.csdn.net/inrgihc/article/details/103739629 一、背景 开源MPP数据库Greenplum是一种基于PostgreSQL的分布式数据库，其采用shared-nothing架构，其架构专门用于管理大规模分析数据仓库，Greenplum主要定位在OLAP领域，利用Greenplum MPP数据库做大数据计算或分析平台非常适合，典型的就是数据仓库系统。 虽然Greenplum支持JDBC 、libpg、copy、gpfdist等多种方式加载数据。但是通常的业务系统中的数据存储往往是MySQL、Oracle、SQLServer、PostegreSQL等数据库。要想把这些数据库中的数据导入至Greenplum数据库中，需要借助一定的（离线同步）工具，典型的工具包括： （1）利用kettle+gpload工具 优点：工具开源且现成，导入速度快，kettle支持表结构同步和表数据同步； 缺点：gpload配置过于复杂，kettle功能多，学习成本高，每张表都需要单独配置，不适用于大批量表的操作； （2）使用Greenplum工具gpfdist或外部表方式 优点：导入速度快 缺点：需要先将MySQL、Oracle

收到业务部门需求，要求将Oracle数据库某表同步至Mysql数据库中，异构环境我们用kafka来实现，下面是具体的一些配置； 由于业务需要，现申请使用架构组数据同步服务同步以下数据到管家MySQL数据库 代理商用户数据： a. 数据源：SSP库 AAA.system_user b. 数据目标：MySQL DLS库 DLS_SYSTEM_USER c. 同步逻辑： 无 d. 同步数据及对应关系：参见附件 e. 是否涉及敏感信息：否 准备工作；由于目标库Mysql库该表已经存在，我们将该表备份并且获取建表语句； --获取建表语句 mysql> show create table dls_system_user; --导出单个数据表结构和数据 mysqldump -uroot -p dls DLS_SYSTEM_USER > DLS_SYSTEM_USER_180622.sql --重命名表 ALTER TABLE DLS_SYSTEM_USERRENAME DLS_SYSTEM_USER_BAK0622; --新建空表 CREATE TABLE dls_system_user ( ID varchar(100) NOT NULL, ACCOUNT_EXPIRED int(1) NOT NULL DEFAULT '0', ACCOUNT_LOCKED int(1) NOT NULL