SymmetricDS 太麻烦,而且是每张表都要配置触发器,性能影响太大了。
其他类型数据库到GP:
转自:https://blog.csdn.net/inrgihc/article/details/103739629
一、背景
开源MPP数据库Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,其架构专门用于管理大规模分析数据仓库,Greenplum主要定位在OLAP领域,利用Greenplum MPP数据库做大数据计算或分析平台非常适合,典型的就是数据仓库系统。
虽然Greenplum支持JDBC 、libpg、copy、gpfdist等多种方式加载数据。但是通常的业务系统中的数据存储往往是MySQL、Oracle、SQLServer、PostegreSQL等数据库。要想把这些数据库中的数据导入至Greenplum数据库中,需要借助一定的(离线同步)工具,典型的工具包括:
(1)利用kettle+gpload工具
优点:工具开源且现成,导入速度快,kettle支持表结构同步和表数据同步;
缺点:gpload配置过于复杂,kettle功能多,学习成本高,每张表都需要单独配置,不适用于大批量表的操作;
(2)使用Greenplum工具gpfdist或外部表方式
优点:导入速度快
缺点:需要先将MySQL、Oracle、SQLServer、PostegreSQL等数据库内的数据导出为文本文件,同样不适用于大批量表的操作;
(3)datax工具
优点:工具现成,支持插件扩展;
缺点:不支持表结构同步,需要人工参与目的端表的创建;
地址:https://github.com/alibaba/DataX
(4)dbsync 工具
优点:支持表结构与数据的同步;
缺点:同步千万级数据量时会OOM、对于含有大小写的表名或字段名进行DDL转换存在问题、只支持MySQL/PostgreSQL到Greenplum/PostgreSQL的表结构与数据同步同步等等,其他问题请参考issue:https://github.com/aliyun/rds_dbsync/issues
地址:https://github.com/aliyun/rds_dbsync
二、dbswitch工具
结合kettle的表结构同步功能及网上高僧基于copy方式改良的datax,dbswitch提供常见的oracle/SqlServer/mysql/PostgreSQL向Greenplum数据库的表结构及数据同步功能。功能点如下:
表(视图)结构向GP转换及在GP中自动建表;
表数据抽取至GP数据库中;
支持同一schema下的多张表同步;
提供RESTfull的表结构转换服务接口;
项目地址:https://gitee.com/inrgihc/dbswitch
工具缺点:
不支持二进制字段数据的数据抽取同步;
当前为单线程处理,并发同步有待提高;
对于GP建表时未考虑分布式键问题
另外一个:
https://www.cnblogs.com/lolo-garden/p/12061055.html
需求:
异构数据库oracle到PG同步,后续可能到hadoop等大数据平台。
工具以及对比:
工具 |
支持异构 |
数据方向 |
开源 |
GUI |
kettle |
√ |
多种(大数据和RDBMS)->多种 |
√ |
√ |
DataX |
√ |
多种->多种 |
√ |
× |
Sqoop |
√ |
大数据->RDBMS, RDBMS->大数据 |
√ |
× |
Streamsets |
√ |
多种->多种 |
√ |
√ |
Informatica |
√ |
多种->多种 |
× |
√ |
Talend |
√ |
多种->多种 |
√ |
√ |
DataPipeline |
√ |
多种->多种 |
× |
√ |
datastage |
√ |
多种->多种 |
× |
√ |
ODI |
√ |
多种->多种 |
× |
√ |
Apatar |
√ |
多种->多种 |
√ |
√ |
DataX:
1.使用在hadoop时,如果文件过大,作为源端数据导入目标数据库时会有数据缺失;
2.datax往gp中写数最好使用gp的writer方式,否则会很慢。
Kettle:
性能较DataX等较差。
Datastage和Informatica商业,功能完备,市场占有率高。
ODI:oracle耦合度高。
Sqoop和Streamsets更适用于大数据相关的数据源。
Talend:开源版没有调度程序,且后续的维护运维成本高,建议商业版。按照用户数收费,开发用户多不合算。
结论:
开源采用DataX,或者(大数据场景时)Sqoop和Streamsets,
商用Talend,Datastage,Informatica。
来源:https://www.cnblogs.com/kuang17/p/12228787.html