前言:

binlog2sql是大众点评开源的一款用于解析binlog的工具

可以从MySQL binlog解析出SQL,根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。

前提是需要开启binlog日志记录,如果没有binlog记录 再强大的工具也没法施展其能力,因此做好数据备份和容错机制还是很必要的

 

注意:

binlog2sql可以将binlog进行反向解析,生成对应的恢复语句,然后手动到数据库中执行,

但是 对于drop,truncate等操作无效

1.安装安装binlog2sql工具

pip安装

wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py
pip -V (查看pip是否安装成功)

binlog2sql 安装

yum -y install git
git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sql
pip install -r requirements.txt

安装成功后,进入binlog2sql目录

binlog采集解析 mysql mysqlbinlog解析binlog为sql_binlog采集解析 mysql

2、user需要的最小权限集合:(操作需要数据库额外的权限,需要自己处理)

select, super/replication client, replication slave权限
建议授权

mysql > GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON *.* to flashback@'localhost' identified by 'flashback';
mysql > GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON *.* to flashback@'127.0.0.1' identified by 'flashback';

3.基本用法

binlog2sql参数选项:

mysql连接选项,与mysql客户端的选项一致

-h host-P port-u user-p password解析模式

--stop-never 持续解析binlog。可选。默认False,同步至执行命令时最新的binlog位置。

-K, --no-primary-key 对INSERT语句去除主键。可选。默认False

-B, --flashback 生成回滚SQL,可解析大文件,不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。

--back-interval -B模式下,每打印一千行回滚SQL,加一句SLEEP多少秒,如不想加SLEEP,请设为0。可选。默认1.0。解析范围控制

--start-file 起始解析文件,只需文件名,无需全路径 。必须。

--start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。

--stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never,此选项失效。

--stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置;若解析模式为stop-never,此选项失效。

--start-datetime 起始解析时间,格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。

--stop-datetime 终止解析时间,格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。对象过滤

-d, --databases 只解析目标db的sql,多个库用空格隔开,如-d db1 db2。可选。默认为空。

-t, --tables 只解析目标table的sql,多张表用空格隔开,如-t tbl1 tbl2。可选。默认为空。

--only-dml 只解析dml,忽略ddl。可选。默认False。

--sql-type 只解析指定类型,支持INSERT, UPDATE, DELETE。多个类型用空格隔开,如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型,则三者都不解析。

注意,--start-file直接填binlog名称就可以,不要加路径

解析出标准SQL 到指定的文件(也可以不存入文件)

python binlog2sql.py -h localhost -u root -p admin -d 数据库名 -t 表名 --start-file='mysql-bin.002559' --start-datetime='2020-04-26 14:00:00' --stop-datetime='2020-04-26 14:05:00' > temp/2020-04-26-000002.sql

 

解析出回滚sql语句,即当时,delete的变成insert, 之前insert的变成delete

python binlog2sql/binlog2sql/binlog2sql.py --flashback -h127.0.0.01 -P4000 -uroot -pxxxx -d xxxx -t xxxx --start-file='mysql-bin.002559' --start-position=384693693 --stop-position=529503333 > temp/2020-04-26-000002-flashback.sql

参数自己合理配置就OK

最后把生成的sql 执行就OK,

思考对于drop等无法生成回滚sql的怎么办,那就使用 备份快照 加上增量恢复的方式进行处理,只是数据量和时间要多一些(特别注意进行恢复的时候,把服务要关闭,避免数据冲突)