canal实现MySQL实时同步数据到ES

一、canal简介

     canal主要用途是对MySQL数据库增量日志进行解析，提供增量数据的订阅和消费，简单说就是可以对MySQL的增量数据进行实时同步，支持同步到MySQL、Elasticsearch、HBase等数据存储中去。

二、canal工作原理

     canal会模拟MySQL主库和从库的交互协议，从而伪装成MySQL的从库，然后向MySQL主库发送dump协议，MySQL主库收到dump请求会向canal推送binlog，canal通过解析binlog将数据同步到其他存储中去。

 

 

三、canal使用 

• 首先我们需要下载canal的各个组件​​canal-server​​、​​canal-adapter​​、​​canal-admin​​，下载地址：​​https://github.com/alibaba/canal/releases​​

• 

• canal的各个组件的用途各不相同，下面分别介绍下：

• canal-server（canal-deploy）：可以直接监听MySQL的binlog，把自己伪装成MySQL的从库，只负责接收数据，并不做处理。
• canal-adapter：相当于canal的客户端，会从canal-server中获取数据，然后对数据进行同步，可以同步到MySQL、Elasticsearch和HBase等存储中去。
• canal-admin：为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作。

• 由于不同版本的MySQL、Elasticsearch和canal会有兼容性问题，所以我们先对其使用版本做个约定。

• 

MySQL配置

由于canal是通过订阅MySQL的binlog来实现数据同步的，所以我们需要开启MySQL的binlog写入功能，并设置​​binlog-format​​​为ROW模式，我的配置文件为​​/mydata/mysql/conf/my.cnf​​，改为如下内容即可；

配置完成后需要重新启动MySQL，重启成功后通过如下命令查看binlog是否启用；

再查看下MySQL的binlog模式；

接下来需要创建一个拥有从库权限的账号，用于订阅binlog，这里创建的账号为​​canal:canal​​；

创建好测试用的数据库​​canal-test​​​，之后创建一张商品表​​product​​，建表语句如下。

canal-server使用

将我们下载好的压缩包​​canal.deployer-1.1.5-SNAPSHOT.tar.gz​​​上传到Linux服务器，然后解压到指定目录​​/mydata/canal-server​​，可使用如下命令解压；

解压完成后目录结构如下；

修改配置文件​​conf/example/instance.properties​​，按如下配置即可，主要是修改数据库相关配置；

使用​​startup.sh​​​脚本启动​​canal-server​​服务；

启动成功后可使用如下命令查看服务日志信息；

启动成功后可使用如下命令查看instance日志信息；

 如果想要停止​​canal-server​​服务可以使用如下命令。 

canal-adapter使用

将我们下载好的压缩包​​canal.adapter-1.1.5-SNAPSHOT.tar.gz​​​上传到Linux服务器，然后解压到指定目录​​/mydata/canal-adpter​​，解压完成后目录结构如下；

修改配置文件​​conf/application.yml​​，按如下配置即可，主要是修改canal-server配置、数据源配置和客户端适配器配置；

添加配置文件​​canal-adapter/conf/es7/product.yml​​，用于配置MySQL中的表与Elasticsearch中索引的映射关系；

使用​​startup.sh​​​脚本启动​​canal-adapter​​服务；

启动成功后可使用如下命令查看服务日志信息；

如果需要停止​​canal-adapter​​服务可以使用如下命令。

数据同步演示 

 经过上面的一系列步骤，canal的数据同步功能已经基本可以使用了，下面我们来演示下数据同步功能。

首先我们需要在Elasticsearch中创建索引，和MySQL中的product表相对应，直接在Kibana的​​Dev Tools​​中使用如下命令创建即可；

创建完成后可以查看下索引的结构；

之后使用如下SQL语句在数据库中创建一条记录；

INSERT INTO product ( id, title, sub_title, price, pic ) VALUES ( 5, '小米8', ' 全面屏游戏智能手机 6GB+64GB', 1999.00, NULL );

创建成功后，在Elasticsearch中搜索下，发现数据已经同步了；

GET canal_product/_search

再使用如下SQL对数据进行修改；

UPDATE product SET title='小米10' WHERE id=5

 修改成功后，在Elasticsearch中搜索下，发现数据已经修改了；

 

canal-admin使用

 将我们下载好的压缩包​​canal.admin-1.1.5-SNAPSHOT.tar.gz​​​上传到Linux服务器，然后解压到指定目录​​/mydata/canal-admin​​，解压完成后目录结构如下

创建canal-admin需要使用的数据库​​canal_manager​​​，创建SQL脚本为​​/mydata/canal-admin/conf/canal_manager.sql​​，会创建如下表；

修改配置文件​​conf/application.yml​​​，按如下配置即可，主要是修改数据源配置和​​canal-admin​​​的管理账号配置，注意需要用一个有读写权限的数据库账号，比如管理账号​​root:root​​；

接下来对之前搭建的​​canal-server​​​的​​conf/canal_local.properties​​​文件进行配置，主要是修改​​canal-admin​​​的配置，修改完成后使用​​sh bin/startup.sh local​​​重启​​canal-server​​：

使用​​startup.sh​​​脚本启动​​canal-admin​​服务；

sh bin/startup.sh

启动成功后可使用如下命令查看服务日志信息；

tail -f logs/admin.log

访问canal-admin的Web界面，输入账号密码​​admin:123456​​即可登录，访问地址：http://192.168.3.101:8089

登录成功后即可使用Web界面操作canal-server。

官方文档地址：

canal官方文档：https://github.com/alibaba/canal/wiki

配置文件地址

​​https://github.com/macrozheng/mall-learning/tree/master/document/canal-config​​