MySQL数据库数据同步至DataHub实例

本小节介绍如何使用数据传输 DTS (以下简称 DTS) 完成MySQL数据库数据同步至DataHub实例的配置，让数据可以实时进入流计算等大数据产品进行数据实时分析。

支持通过专线、VPN网关或智能网关接入阿里云的自建MySQL数据同步至Datahub实例。
支持ECS上的自建MySQL数据同步至Datahub实例。
支持同一个阿里云账号下RDS for MySQL实例数据同步至DataHub实例。
支持不同阿里云账号下的RDS for MySQL实例数据同步至DataHub实例。

同步对象

只支持表的同步，不支持其他非表对象的同步。

同步地域

源MySQL实例支持的地域包括：
华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北3(张北)、华北5(呼和浩特)、华南1(深圳)、美西(硅谷)、美东、亚太(新加坡)、香港、中东东部1(迪拜)、亚太东南3(吉隆坡)、澳大利亚(悉尼)、印度尼西亚(雅加达)、印度(孟买)、欧洲中部1(法兰克福)
目标Datahub实例支持的地域包括：
华东1(杭州)、华东2(上海)、华北2(北京)

如上图所示，MySQL->DataHub 数据实时同步，是将 MySQL 产生的增量数据实时同步到DataHub实例中的 topic。增量日志在DataHub实例中存储的表名默认同 MySQL 表同名。topic 名称可以根据业务需要修改，您可以在配置任务时，修改表在DataHub实例中对应的 topic 名称。

topic 除了存储更新数据，它还会存储一些元信息，topic 的结构定义如下：

dts_record_id	dts_instance_id	dts_db_name	dts_table_name	dts_operation_flag	dts_utc_timestamp	dts_before_flag	dts_after_flag	dts_col1	….	dts_colN
1	234	db1	sbtest1	I	1476258462	N	Y	1	…..	JustInsert
2	234	db1	sbtest1	U	1476258463	Y	N	1	…..	JustInsert
2	234	db1	sbtest1	U	1476258463	N	Y	1	…..	JustUpdate
3	234	db1	sbtest1	D	1476258464	Y	N	1	…..	JustUpdate

其中：
dts_record_id: 这条增量日志的唯一标识，唯一递增。如果变更类型为 update，那么增量更新会被拆分成 2 条，一条 Insert，一条 Delete。这两条记录具有相同的 record_id。
dts_instance_id: 这条增量日志所对应的数据库的 server id。
dts_db_name: 这条增量更新日志更新的表所在的数据库库名。
dts_table_name:这条增量更新日志更新的表。
dts_operation_flag: 标示这条增量日志的操作类型。取值包括:
I : insert 操作
D : delete 操作
U : update 操作

dts_utc_timestamp: 这条增量日志的操作时间戳，为这个更新操作记录 binlog 的时间戳。这个时间戳为 UTC 时间。
dts_before_flag: 表示这条增量日志后面带的各个 column 值是否更新前的值。取值包括：Y 和 N。当后面的 column 为更新前的值时，dts_before_flag＝Y, 当后面的 column 值为更新后的值时，dts_before_flag=N.
dts_after_flag：表示这条增量日志后面带的各个 column 值是否更新后的值。取值包括：Y 和 N。当后面的 column 为更新前的值时，dts_after_flag=N，当后面的 column 值为更新后的值时，dts_after_flag=Y.

对于不同的操作类型，增量日志中的 dts_before_flag 和 dts_after_flag 定义如下：

1) 操作类型为：insert

dts_record_id	dts_instance_id	dts_db_name	dts_table_name	dts_operation_flag	dts_utc_timestamp	dts_before_flag	dts_after_flag	dts_col1	….	dts_colN
1	234	db1	sbtest1	I	1476258462	N	Y	1	…..	JustInsert

当操作类型为 insert 时，后面的所有 column 值为新插入的记录值，即为更新后的值。所以 before_flag＝N, after_flag=Y

2) 操作类型为：update

dts_record_id	dts_instance_id	dts_db_name	dts_table_name	dts_operation_flag	dts_utc_timestamp	dts_before_flag	dts_after_flag	dts_col1	….	dts_colN
2	234	db1	sbtest1	I	1476258463	Y	N	1	…..	JustInsert
2	234	db1	sbtest1	I	1476258463	N	Y	1	…..	JustUpdate

当操作类型为 update 时，会将 update 操作拆为 2 条增量日志。这两条增量日志的 dts_record_id ,dts_operation_flag 及 dts_utc_timestamp 相同。
第一条日志记录了更新前的值，所以 dts_before_flag=Y, dts_after_flag=N
第二条日志记录了更新后的值，所以 dts_before_flag=N, dts_after_flag=Y

3) 操作类型为：delete

dts_record_id	dts_instance_id	dts_db_name	dts_table_name	dts_operation_flag	dts_utc_timestamp	dts_before_flag	dts_after_flag	dts_col1	….	dts_colN
3	234	db1	sbtest1	D	1476258464	Y	N	1	…..	JustUpdate

当操作类型为 delete 时，后面的所有 column 值为被删除的记录值，即为更新前的值。所以 dts_before_flag＝Y, dts_after_flag=N

下面详细介绍MySQL数据库数据同步至DataHub实例的配置流程。

1.购买同步链路

进入数据传输 DTS 控制台，进入数据同步页面，点击控制台右上角“创建同步作业” 开始作业配置。

在链路配置之前需要购买一个同步链路。同步链路目前支持包年包月及按量付费两种付费模式，可以根据需要选择不同的付费模式。

在购买页面需要配置的参数包括：

源实例
同步作业的源实例类型，目前只支持MySQL
源地域
如果为本地自建MySQL，那么选择专线在阿里云上的接入点所在的地区。如果为ECS上的自建MySQL,那么选择ECS实例所在的地区。如果为RDS For MySQL,那么选择RDS实例所在的地区。
目标实例
目标实例为同步作业的目标实例类型，目前支持 MySQL、MaxCompute (原ODPS、，分析型数据库（AnalyticDB）、DataHub。配置 MySQL->DataHub 同步链路时，目标实例选择：Datahub 即可。
目标地域
由于 Datahub 目前暂时只在华东1(杭州) 地区售卖，所以目标地域默认选择华东1(杭州)。
实例规格
实例规格影响了链路的同步性能，可以根据业务性能选择合适的规格。对于数据同步链路规格的具体说明请参考：数据同步规格说明

当购买完同步实例，返回数据传输控制台，点击新购链路右侧的“配置同步作业” 开始链路配置。

2.同步链路连接信息配置。

在这一步主要配置：