canal本地搭建以及运行

具体的文档可参考官网文档：https://github.com/alibaba/canal/wiki

canal [k?'n?l]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

工作原理

• canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议
• MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
• canal 解析 binary log 对象(原始为 byte 流)

环境准备：

1. 操作系统

? ? a. ?纯java开发，windows/linux均可支持

? ? b. ?jdk建议使用1.6.25以上的版本，稳定可靠

2. mysql要求

? ?a.?当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)，ps. mysql4.x版本没有经过严格测试，理论上是可以兼容

? ?b. canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，并且配置binlog模式为row.

我们可以找到数据库配置文件my.cnf或者 my.ini文件，开启binlog写入功能，在Linux电脑下没有找到配置文件，可在/etc/my.cnf 在新增一个配置，mysql服务器会去扫描此文件。

在my.cnf文件下配置如下信息：

[mysqld]  
#开启binlog日志
log-bin=mysql-bin  
#选择row模式   
binlog-format=ROW 
#配置mysql replaction需要定义，不能和canal的slaveId重复
server_id=1  

配置好后进行服务重启进行生效，可以通过如下命令进行验证是否开启成功

show VARIABLES like 'log_bin';

显示‘ON’，表示开启成功

?c. ?canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限

#创建canal用户 密码canal
CREATE USER canal IDENTIFIED BY 'canal';    
# 对canal用户赋予权限
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
FLUSH PRIVILEGES; 
#进行验证，显示canal用户相关的权限
show GRANTS for canal;

?
?

开始搭建

从GitHub上下载源码到本地，可在tags中选择1.1.7版本

modules中deployer就是canal的服务端，结构如下：

修改example实例配置信息，配置成上述设置的canal用户：

#自己本地实例库信息
canal.instance.master.address=127.0.0.1:3308
#对应的自己的用户名和密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal

进行启动：

window对应：bin/startup.bat.? ?linux对应：bin/startup.sh

在本地dubug启动的时候，可以直接运行CanalLauncher（启动类）

查看server日志：

logs/canal/canal.log

查看instance实例：

logs/example/example.log

如上服务端已启动成功，开始监听binlog日志

客户端验证：

我们刚开始通过最简单的tcp模式进行订阅变更，

可通过启动类运行也可运行命令，进行订阅数据变更，启动后，可以自行修改配置的instance中的数据，监听日志会进行打印

至此单机模式的canal服务端以及客户端验证已本地搭建完成，后续进行集群模式，和订阅推送的其他几种模式