canal

kafka环境安装 https://segmentfault.com/a/1190000012730949#articleHeader1 canal 环境安装 https://juejin.im/entry/59f15508f265da4321534371 安装遇到了一些问题，记录一下 mysql权限问题，要赋予所有权限， zookeeper要先运行 canal-kafka实验失败，有会用的，，或者有具体教程私发我呀，谢谢 具体参见github alibaba canal readme... canal作为监控mysql增量数据的中间件，常用于数据处理流程，etl，我们的项目中也有使用，拿到的binlog处理之后的结果为canal.Entry，具体分为3种，update insert delete。 未完待续 来源： https://www.cnblogs.com/BBchao/p/9713985.html

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 工作原理 MySQL主备复制原理 MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看) MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log) MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据 canal 工作原理 canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议 MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal ) canal 解析 binary log 对象(原始为 byte 流) 安装搭建 首先要明确一点

关于canal具体的原理，以及应用场景，可以参考开发文档： https://github.com/alibaba/canal 下面给出canal的入门Demo （一）部署canal服务器 可以参考官方文档的QuickStart： https://github.com/alibaba/canal/wiki/QuickStart 为了完整性，下面重复给出如何配置canal服务器 开启mysql的binlog功能，并配置binlog模式为row 1. Windows环境下，是修改my.ini文件： [mysqld] log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复 2. 在mysql中 配置canal数据库管理用户，配置相应权限（repication权限），运行mysql后依次运行这四条代码： 1 CREATE USER canal IDENTIFIED BY 'canal'; 2 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; 3 -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%

环境准备 zookeeper集群 elasticsearch-6.8.6 canal admin-1.1.4 canal deployer-1.1.4 canal adapter-1.1.4 关于elasticsearch版本要求具体可自行百度，另需准备postman创建es索引，获取canal网址: https://github.com/alibaba/canal/ 搭建zookeeper集群 在这里直接使用docker-compose创建 version : '3.1' services : zoo1 : image : zookeeper restart : always hostname : zoo1 ports : - 2181 : 2181 environment : ZOO_MY_ID : 1 ZOO_SERVERS : server.1=0.0.0.0 : 2888 : 3888;2181 server.2=zoo2 : 2888 : 3888;2181 server.3=zoo3 : 2888 : 3888;2181 volumes : - / : /opt/compose - volumes/zk - volumes/zoo1 zoo2 : image : zookeeper restart : always hostname : zoo2 ports : -

安装MySQL [hadoop@hadoop003 canal-admin]$ sudo yum -y localinstall https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm [hadoop@hadoop003 canal-admin]$ sudo yum -y install mysql-community-server [hadoop@hadoop003 canal-admin]$ sudo systemctl enable mysqld [hadoop@hadoop003 canal-admin]$ sudo systemctl start mysqld [hadoop@hadoop003 canal-admin]$ sudo systemctl status mysqld ● mysqld.service - MySQL Server Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled) Active: active (running) since Thu 2020-01-30 16:13:12 CST; 1s ago Docs: man:mysqld(8)

canal 基于Mysql数据库增量日志解析  1.前言  最近太多事情 工作的事情，以及终身大事等等 耽误更新，由于最近做项目需要同步监听 未来电视 mysql的变更了解到公司会用canal做增量监听，就尝试使用了一下 这里做个demo 简单的记录一下。  2.canal简介  canal：主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费的中间件 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x  3.MySQL 注备复制原理   3.1 mysql主备复制工作原理   1.MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)  2.MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)  3.MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据   3.2 canal 工作原理   1.canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议  2

以下内容主要摘自Canal 官方wiki和网友博客：https://www.jianshu.com/p/6299048fad66 一、背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。 ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48) 基于日志增量订阅&消费支持的业务： 数据库镜像 数据库实时备份 多级索引 (卖家和买家各自分库索引) search build 业务cache刷新 价格变化等重要业务消息 二、项目介绍 名称：canal [kə'næl] 译意： 水道/管道/沟渠 语言： 纯java开发 定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql 三、工作原理 1、mysql主备复制实现 从上层来看，复制分成三步： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log

最近业务开始需要实时抽取数据，中间权限需要沟通，为了不让自己给DBA添加麻烦，还是补补关于这方面的基础： 来源： http://blog.csdn.net/heiyeshuwu/article/details/8619338 先介绍下背景吧，方便理解： 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 项目介绍 名称：canal [kə'næl] 译意： 水道/管道/沟渠 语言： 纯java开发 定位： 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql 工作原理 mysql主备复制实现： 从上层来看，复制分成三步： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）； slave将master的binary log events拷贝到它的中继日志(relay log)； slave重做中继日志中的事件，将改变反映它自己的数据。 canal的工作原理： canal模拟mysql slave的交互协议

本文讲解canal中的一些配置含义。 一、配置加载图 二、配置文件canal.properties 2.1 common参数定义 比如可以将instance.properties的公用参数，抽取放置到这里，这样每个instance启动的时候就可以共享. 【instance.properties配置定义优先级高于canal.properties】 参数名 含义 默认值 canal.id 每个canal server实例的唯一标识，暂无实际意义 1 canal.ip canal server绑定的本地IP信息，如果不配置，默认选择一个本机IP进行启动服务 无 canal.port canal server提供socket服务的端口 11111 canal.zkServers canal server链接zookeeper集群的链接信息，例子：127.0.0.1:2181,127.0.0.1:2182 无 canal.zookeeper.flush.period canal持久化数据到zookeeper上的更新频率，单位毫秒 1000 canal.file.data.dir canal持久化数据到file上的目录 ../conf (默认和instance.properties为同一目录，方便运维和备份)，如果想要HA，不需要配置这个，因为无法通过文件实现高可用 canal.file

这是Canal在新版本引入的一个内容，主要是为了解决由于历史的DDL导致表结构与现有表结构不一致，导致的同步失败的问题。采用的是Druid和Fastsql，来记录表结构到DB中，如果需要进行回滚时，得从DB中根据时间点去查到对应的库表结构，然后进行业务的处理。也就是，如果我们想要这样的效果，需要开启TSDB的功能，同时要新增库表来记录表结构的变更。 这个基本上是在parser启动时，寻找位点时需要的。当然在系统启动的时候，会将库表的信息写入到DB中，然后定时24小时写入一次。另外就是在发生了DDL时，会更新表结构。 我们来看下他的类图。 一张表记录的是表结构，加上了时间，另一张记录的是当时的DDL语句。在进行回溯的时候，直接根据时间戳和binlog文件名来进行寻找即可找到。当然这些数据也会在内存中保存一份，加快速度。 具体的介绍可以见这个链接https://github.com/alibaba/canal/wiki/TableMetaTSDB。 来源： https://www.cnblogs.com/f-zhao/p/9116316.html