canal基于数据库的日志解析

阿里巴巴mysql数据库binlog的增量订阅&消费组件

背景：

      早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

mysql主备复制实现：

 

从上层来看，复制分成三步：

1. master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
2. slave将master的binary log events拷贝到它的中继日志(relay log)；
3. slave重做中继日志中的事件，将改变反映它自己的数据。

 

canal的工作原理：

 

原理相对比较简单：

1. canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
2. mysql master收到dump请求，开始推送binary log给slave(也就是canal)
3. canal解析binary log对象(原始为byte流)

GITHUB:https://github.com/alibaba/canal

文档：https://github.com/alibaba/canal/wiki

一篇简书：https://www.jianshu.com/p/6299048fad66

来源：CSDN

作者：星小丫头辰

链接：https://blog.csdn.net/ma15732625261/article/details/88319096