主要使用Mysql与Redis之间的数据同步,通过Mysql的Binlog实现,业务中可以直接使用,方面高效,值得在项目中使用,目前该手册也是给客户项目写的部署及配置手册,应该是比较详情的操作步骤了,如果有问题可以留言交流,或者给我发私信也可以。

一、版本说明

序号

名称

版本

1

mysql

5.7.32

2

bifrost

1.7.4

  • 如果Mysql本身是主从结构,建议在从库上设置
  • 本文档前提默认是已经完成Mysql安装
  • 功能部署环境及测试顺序开发——>测试——>(仿真)——>生产

二、 MySQL设置

  1. my.cnf需要设置的配置项
log-bin= mysql-bin log_slave_updates=1 binlog_format=row
  • log-bin 需要启用二进制日志
  • binlog_format 复制格式
  • log_slave_updates 如果是从数据库必须设置&不设置会造成数据不同步,主数据库不必设置

三、 bifrost安装及设置

  1. 从https://github.com/brokercap/Bifrost/releases下载,放到服务器合适的目录
  2. 然后通过下面命令解压
tar -zxvf bifrost_v1.7.4-release_Linux-amd64-bin.tar.gz
  1. 修改Bifrost.ini配置项
[user] #登录账号 Bifrost=iacl BifrostMonitor=iacl  [groups] #administrator 管理人员可以添加删除等操作 #monitor 只能查看数据 Bifrost=administrator BifrostMonitor=monitor  [Bifrostd] #访问端口 listen=0.0.0.0:31036  #是否支持动态加载插件,只有Linux 有效,其他平台无效,true | false dynamic_plugin=true  #是否支持https tls=false  #server.key 及 server.crt 相对于 Bifrost 的路径,也可以填绝对路径 #tls_key_file=./etc/server.key #tls_crt_file=./etc/server.crt  #是否开启文件队列功能 true|false file_queue_usable=true  #统计是否启文件队列的时间,单位毫秒 file_queue_usable_count_time_diff=5000  #file_queue_usable_count_time_diff 时间内内存队列被挤满的次数 file_queue_usable_count=10  #在没有数据的情况下,间隔多久提交一次插件,单位 秒 plugin_commit_timeout=5  #在同步出错的情况下,每2次重试之后 间隔多久再重试 ,单位 秒 plugin_sync_retry_time=5  #[PerformanceTesting] #性能测试配置,用于指定哪一个数据源,从哪一个位点开始 #mysqlLocalTest=mysql-bin.000016,11857
  • [user] 登录账号,用户名=密码 格式
  • [groups]用户角色,前面是
  • [user]中的用户名,后面是角色,有administrator、monitor 角色供选择
  • listen 服务监听端口
  • tls 是否启用https访问,如果是内网建议不启用
  1. 常用管理命令、
# 启动服务 ./Bifrost-server start # 停止服务 ./Bifrost-server stop

四、管理配置

  1. 访问管理端ip:端口号,这里的端口号是指在上面的配置文件中listen配置项设置的端口号
  2. 输入用户名及密码即可进入管理,设置要配置的Mysql数据源及目标源Redis,账号修改可以直接在配置文件中修改即可
  • 管理员账号及Bifrost及密码iacl
  • 监控账号BifrostMonitor及密码iacl

#yyds干货盘点#MySql与Redis实时同步部署及配置手册_mysql

  1. 进入后看板如下

#yyds干货盘点#MySql与Redis实时同步部署及配置手册_redis_02

  1. 主要操作如下几个栏目

#yyds干货盘点#MySql与Redis实时同步部署及配置手册_数据源_03

  • 数据源:设置MySql链接配置
  • 目标库:设置需要同步的目前数据源链接配置
  • 全量任务:配置一次性任务,一般新任务初始化时全量同步一次,后面增量同步

  1. 添加数据源如下设置

#yyds干货盘点#MySql与Redis实时同步部署及配置手册_mysql_04

  • ServerKey:唯一名称
  • Plugin:选择插件类型,一般用
  • RedisConnUri:数据源&目标源地址,注意链接书写格式
  1. 任务启动

#yyds干货盘点#MySql与Redis实时同步部署及配置手册_数据_05

  • 可以操作start、close 开启、停止任务
  • 点击最新位置可以查看当前同步的binlog位置,便于分析是否同步状态正常
  1. 其它注意事项
  • 建议在从数据库设置,如果有内网地址,尽量用内网地址链接,可以新建一个独立的Mysql账号做数据同步使用,便于发生问题排查
  • 涉及到多任务,尽量使用不同的通道进行任务执行