开源异构数据库同步工具收集

£可爱£侵袭症+ 提交于 2020-01-22 16:25:49

 SymmetricDS 太麻烦,而且是每张表都要配置触发器,性能影响太大了。

其他类型数据库到GP:

转自:https://blog.csdn.net/inrgihc/article/details/103739629

一、背景
      开源MPP数据库Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,其架构专门用于管理大规模分析数据仓库,Greenplum主要定位在OLAP领域,利用Greenplum MPP数据库做大数据计算或分析平台非常适合,典型的就是数据仓库系统。

     虽然Greenplum支持JDBC 、libpg、copy、gpfdist等多种方式加载数据。但是通常的业务系统中的数据存储往往是MySQL、Oracle、SQLServer、PostegreSQL等数据库。要想把这些数据库中的数据导入至Greenplum数据库中,需要借助一定的(离线同步)工具,典型的工具包括:

    (1)利用kettle+gpload工具

        优点:工具开源且现成,导入速度快,kettle支持表结构同步和表数据同步;

        缺点:gpload配置过于复杂,kettle功能多,学习成本高,每张表都需要单独配置,不适用于大批量表的操作;

   (2)使用Greenplum工具gpfdist或外部表方式

      优点:导入速度快

      缺点:需要先将MySQL、Oracle、SQLServer、PostegreSQL等数据库内的数据导出为文本文件,同样不适用于大批量表的操作;

    (3)datax工具

      优点:工具现成,支持插件扩展;

      缺点:不支持表结构同步,需要人工参与目的端表的创建;

     地址:https://github.com/alibaba/DataX

   (4)dbsync 工具

     优点:支持表结构与数据的同步;

     缺点:同步千万级数据量时会OOM、对于含有大小写的表名或字段名进行DDL转换存在问题、只支持MySQL/PostgreSQL到Greenplum/PostgreSQL的表结构与数据同步同步等等,其他问题请参考issue:https://github.com/aliyun/rds_dbsync/issues

     地址:https://github.com/aliyun/rds_dbsync

二、dbswitch工具
    结合kettle的表结构同步功能及网上高僧基于copy方式改良的datax,dbswitch提供常见的oracle/SqlServer/mysql/PostgreSQL向Greenplum数据库的表结构及数据同步功能。功能点如下:

表(视图)结构向GP转换及在GP中自动建表;
表数据抽取至GP数据库中;
支持同一schema下的多张表同步;
提供RESTfull的表结构转换服务接口;
  项目地址:https://gitee.com/inrgihc/dbswitch

工具缺点:

不支持二进制字段数据的数据抽取同步;
当前为单线程处理,并发同步有待提高;
对于GP建表时未考虑分布式键问题

 

另外一个:

https://www.cnblogs.com/lolo-garden/p/12061055.html

需求:

异构数据库oracle到PG同步,后续可能到hadoop等大数据平台。

工具以及对比:

工具

支持异构

数据方向

开源

GUI

kettle

多种(大数据和RDBMS)->多种

DataX

多种->多种

×

Sqoop

大数据->RDBMS,

RDBMS->大数据

×

Streamsets

多种->多种

Informatica

多种->多种

×

Talend

多种->多种

DataPipeline

多种->多种

×

datastage

多种->多种

×

ODI

多种->多种

×

Apatar

多种->多种

 

DataX:

1.使用在hadoop时,如果文件过大,作为源端数据导入目标数据库时会有数据缺失;

2.datax往gp中写数最好使用gp的writer方式,否则会很慢。

 

Kettle:

性能较DataX等较差。

 

Datastage和Informatica商业,功能完备,市场占有率高。

 

ODI:oracle耦合度高。

 

Sqoop和Streamsets更适用于大数据相关的数据源。

 

Talend:开源版没有调度程序,且后续的维护运维成本高,建议商业版。按照用户数收费,开发用户多不合算。

 

结论:

开源采用DataX,或者(大数据场景时)Sqoop和Streamsets,

商用Talend,Datastage,Informatica。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!