1、应用场景

在前面的统计分析功能中，我们采取了服务调用获取统计数据，这样耦合度高，效率相对较低，目前我采取另一种实现方式，通过实时同步数据库表的方式实现，例如我们要统计每天注册与登录人数，我们只需把会员表同步到统计库中，实现本地统计就可以了，这样效率更高，耦合度更低，Canal就是一个很好的数据库同步工具。canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL。

准备工作

linux上安装mysql


2、Canal环境搭建

canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能

开启mysql服务：
service mysql start （或者 systemctl start mysqld.service）

1. 检查binlog功能是否有开启

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | OFF    |
+---------------+-------+
1 row in set (0.00 sec)

2. 如果显示状态为OFF表示该功能未开启，开启binlog功能

1，修改 mysql 的配置文件 my.cnf
vi /etc/my.cnf 
追加内容：
log-bin=mysql-bin     #binlog文件名
binlog_format=ROW     #选择row模式
server_id=1           #mysql实例id,不能和canal的slaveId重复
2，重启 mysql：
service mysql restart   
3，登录 mysql 客户端，查看 log_bin 变量
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON|
+---------------+-------+
1 row in set (0.00 sec)
————————————————
如果显示状态为ON表示该功能已开启

3.在mysql里面添加以下的相关用户和权限

CREATE USER 'root'@'%' IDENTIFIED BY 'canal';
GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

3、下载安装Canal服务

下载地址：

https://github.com/alibaba/canal/releases

1. 下载之后，放到目录中，解压文件
tar zxvf canal.deployer-1.1.4.tar.gz

2. 修改配置文件
vi conf/example/instance.properties

#需要改成自己的数据库信息
canal.instance.master.address=服务器ip:3306
#需要改成自己的数据库用户名与密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
#需要改成同步的数据库表规则，默认使用
#canal.instance.filter.regex=.*\\..*

注：
mysql 数据解析关注的表，Perl正则表达式.
多个正则之间以逗号(,)分隔，转义符需要双斜杠(\)
常见例子：

  1. 所有表：.* or .\..
  2. canal schema下所有表： canal\..*
  3. canal下的以canal打头的表：canal\.canal.*
  4. canal schema下的一张表：canal.test1
  5. 多个规则组合使用：canal\..*,mysql.test1,mysql.test2 (逗号分隔)
    注意：此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql，所以无法准确提取tableName进行过滤)

3. 进入bin目录下启动
sh bin/startup.sh

如果是jdk9版本及以上
vim startup.sh
删除
-XX：+UseCMSCompactAtFullCollection
-XX：UseFastAccessorMethods

git:

https://github.com/aidawone/canal