一 简介

python-mysql-replication 是基于python实现的 MySQL复制协议工具，我们可以用它来解析binlog 获取日志的insert，update，delete等事件 ，并基于此做其他业务需求。比如数据更改时失效缓存，监听dml事件通知下游业务方做对应处理。

其项目信息

网址     http://www.github.com/noplay/python-mysql-replication官方文档  https://python-mysql-replication.readthedocs.io

二 实践

2.1 安装配置

获取源代码

git clone http://www.github.com/noplay/python-mysql-replication

使用pip 安装

pip install mysql-replication

权限: 可以直接使用复制账号也可以使用其他账号，但是该账号必须SELECT, REPLICATION SLAVE, REPLICATION CLIENT权限

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'replicator'@'%' IDENTIFIED BY 'xxxxx';

数据库日志相关的参数设置如下:

log_bin=on ，binlog_format=row，binlog_row_image=FULL

2.2 核心类介绍

python-mysql-replication 的入口是类BinLogStreamReader()，我们在使用该工具时需要实例化一个BinLogStreamReader()对象 stream，BinLogStreamReader 通过 ReportSlave 向主库注册作为一个slave角色，用于接受MySQL的binlog广播。有兴趣的可以研究其代码具体实现。

该实例提供解析 binlog 各种事件的集合，每个事件也是一个对象。

初始化BinLogStreamReader()实例需要使用的参数如下:

  1. connection_settings: 数据库的连接配置信息
  2. resume_stream:从位置或binlog的最新事件或旧的可用事件开始
  3. log_file:设置复制开始日志文件
  4. log_pos:设置复制开始日志pos（resume_stream应该为true）
  5. auto_position:使用master_auto_position gtid设置位置
  6. blocking:如果设置为True，会持续监听binlog事件，如果设置为False 则会一次性解析所有可获取的binlog。
  7. only_events:只解析指定的事件 比如only_events=[DeleteRowsEvent, WriteRowsEvent, UpdateRowsEvent],参数类型是一个数组。

  9. #### 以上是比较常用的参数

  11. ignored_events:设置哪些事件可以被忽略。也是一个数组。

  13. only_tables,ignored_tables,only_schemas,ignored_schemas ##根据字面意思理解

  15. freeze_schema:如果为true，则不支持ALTER TABLE速度更快。
  16. skip_to_timestamp:在达到指定的时间戳之前忽略所有事件,否则会解析所有可访问的binlog
  17. report_slave:用于向主库注册SHOW SLAVE HOSTS中slave，该值可以是字典比如{'hostname':'127.0.0.1', 'username':'root', 'password':'rep', 'port':3306}

  19. slave_uuid:在SHOW SLAVE HOSTS中slave_uuid。
  20. fail_on_table_metadata_unavailable:如果我们无法获取有关row_events的表信息，应该引发异常。
2.3 如何使用呢？
最简单的用法 脚本名 pyreplica.py
  1. from pymysqlreplication import BinLogStreamReader
  2. MYSQL_SETTINGS = {
  3.     "host": "127.0.0.1",
  4.     "port": 3306,
  5.     "user": "root",
  6.     "passwd": ""
  7. }

  9. def main():
  10.     # server_id is your slave identifier, it should be unique.
  11.     # set blocking to True if you want to block and wait for the next event at
  12.     # the end of the stream
  13.     stream = BinLogStreamReader(connection_settings=MYSQL_SETTINGS,
  14.                                 server_id=3,
  15.                                 blocking=True)

  17.     for binlogevent in stream:
  18.         binlogevent.dump()
  19.     stream.close() ###如果blocking=True ，改行记录可以不用。
  20. if __name__ == "__main__":
  21.     main()
开启两个窗口，一个窗口执行，另外一个窗口操作mysql 写入或者修改数据
python pyreplica.py
输出如下:
=== GtidEvent ===
Date: 2019-06-25T17:41:34
Log position: 339
Event size: 42
Read bytes: 25
Commit: False
GTID_NEXT: cc726403-93d1-11e9-90b7-ecf4bbde7778:13
()
=== QueryEvent ===
Date: 2019-06-25T17:41:34
Log position: 411
Event size: 49
Read bytes: 49
Schema: test
Execution time: 0
Query: BEGIN
()
=== TableMapEvent ===
Date: 2019-06-25T17:41:34
Log position: 456
Event size: 22
Read bytes: 21
Table id: 126
Schema: test
Table: x
Columns: 2
()
=== WriteRowsEvent ===
Date: 2019-06-25T17:41:34
Log position: 500
Event size: 21
Read bytes: 12
Table: test.x
Affected columns: 2
Changed rows: 1
Values:
--
('*', u'a', ':', 1)
('*', u'id', ':', 18)
()
=== XidEvent ===
Date: 2019-06-25T17:41:34
Log position: 531
Event size: 8
Read bytes: 8
Transaction ID: 1293393
()
2.3 拓展
基于该工具提供的日志事件解析我们可以做很多事情，比较有名的工具 binlog2sql 利用该工具解析binlog 做数据回滚 。
mysql-replication.py
  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-

  4. from pymysqlreplication import BinLogStreamReader
  5. from pymysqlreplication.row_event import (
  6.     DeleteRowsEvent,
  7.     UpdateRowsEvent,
  8.     WriteRowsEvent,
  9. )
  10. import sys
  11. import json

  13. mysql_settings = {'host': '127.0.0.1','port': 3306, 
  14.                   'user': 'replica', 'passwd': 'xxxx'}
  15. def main():

  17.     stream = BinLogStreamReader(
  18.         connection_settings=mysql_settings,
  19.         server_id=1,
  20.         blocking=True,
  21.         only_events=[DeleteRowsEvent, WriteRowsEvent, UpdateRowsEvent])

  23.     for binlogevent in stream:
  24.         for row in binlogevent.rows:
  25.             event = {"schema": binlogevent.schema, "table": binlogevent.table, "log_pos": binlogevent.packet.log_pos}
  26.             if isinstance(binlogevent, DeleteRowsEvent):
  27.                 event["action"] = "delete"
  28.                 event["values"] = dict(row["values"].items())
  29.                 event = dict(event.items())
  30.             elif isinstance(binlogevent, UpdateRowsEvent):
  31.                 event["action"] = "update"
  32.                 event["before_values"] = dict(row["before_values"].items())
  33.                 event["after_values"] = dict(row["after_values"].items())
  34.                 event = dict(event.items())
  35.             elif isinstance(binlogevent, WriteRowsEvent):
  36.                 event["action"] = "insert"
  37.                 event["values"] = dict(row["values"].items())
  38.                 event = dict(event.items())
  39.             print json.dumps(event)
  40.             sys.stdout.flush()

  42. if __name__ == "__main__":
  43.     main()
执行脚本结果 如下图
基于python的mysql复制工具_JAVA
除了解析binlog，我们还可以用python-mysql-replication 做数据全量加增量迁移。比如仅仅迁移某些大表而不是整个库的时候，可以用到。有兴趣的朋友可以想想大概的算法。
-The End-
本公众号长期关注于数据库技术以及性能优化，故障案例分析，数据库运维技术知识分享，个人成长和自我管理等主题，欢迎扫码关注。
基于python的mysql复制工具_JAVA_02