MySQL读写分离-架构

简介

对于很多大型网站(pv值百万、千万)来说,在所处理的业务中,其中有70%的业务是查询(select)相关的业务操作(新闻网站,插入一条新闻。查询操作),剩下的则是写(insert、update、delete,只要能对MySQL的数据造成更改的操作都叫写操作)操作。在使用负载均衡集群之后,可以很大程度的提升网站的整体性能,但是最终的数据处理的压力还是会落到MySQL数据库上,所有很有必要使用一些技术来提升MySQL的负载能力。(读写分离)

写专门交给写服务器处理(一般网站来说写是比较少的 读写比 4:1) 那么需要把读的任务分配多台服务器来完成的架构,就叫做读写分离。

实现方式

第一种:php程序上自己做逻辑判断,写php代码的时候,自己在程序上做逻辑判读写匹配。select,insert、update、delete做正则匹配,根据结果选择写服务器(主服务器)。如果是select操作则选择读服务器(从服务器器) mysql_connect('读写的区分')

第二种:MySQL- Proxy是实现"读写分离(Read/Write Splitting)"的一个软件(MySQL官方提供 ,也叫中间件),基本的原理是让主数据库处理写操作(insert、update、delete),而从数据库处理查询操作(select)。而数据库的一致性则通过主从复制来实现。所以说主从复制是读写分离的基础。

注意:MySQL-proxy它能实现读写语句的区分主要依靠的是内部一个lua脚本(能实现读写语句的判断)。

注意:如果只在主服务器(写服务器)上完成数据的写操作话;这个时候从服务器上没有执行写操作,是没有数据的。这个时候需要使用另外一个技术来实现主从服务器的数据一致性,这个技术叫做 主从复制技术。所以说主从复制是读写分离的基础。

 

也可以从官方下载。

下载地址:http://mirrors.sohu.com/mysql/MySQL-Proxy/

 

spring mysql读写分离 mysql读写分离架构_spring mysql读写分离

如何查看Linux下c库的版本?

注意通用二进制包需要c库版本一致,或者操作系统的c库比安装包高

# uname -a (unix name --all)

拓扑结构-架构图

一主两从

 

MySQL-proxy 负载均衡的软件(读写分离实现)

 

使用三台服务器搭建环境

  1. 一台主(写)服务器
  1. 192.168.57.92
  2. 这台主服务器还运行一个读写分离的软件 mysql-proxy
  1. 二台从(读)服务器
  1. 192.168.57.26
  2. 192.168.57.37

spring mysql读写分离 mysql读写分离架构_mysql_02

注意事项

  1. 防火墙的关闭
  2. selinux关闭

selinux永久关闭

spring mysql读写分离 mysql读写分离架构_mysql_03

spring mysql读写分离 mysql读写分离架构_MySQL_04

  1. root账户必须有远程登录的权限
  2. MySQL的版本需要为 5.5 及以上

主从复制搭建

  1. 先配置主服务器
  2. 然后在配置从服务器

主服务操作

1. 主服务上的配置

spring mysql读写分离 mysql读写分离架构_MySQL_05

  1. 在主服务上添加一个授权的账户,使得到时候从服务器可以使用该账号来完成数据的获取 # GRANT REPLICATION SLAVE ON *.*
    添加了一个 repuser的用户,密码为admin88 可以在 192.168.这个网段完成数据的复制。

查看

spring mysql读写分离 mysql读写分离架构_MySQL_06

  1. 在主服务器上使用 show master status 查看主服务上现在正在使用的bin日志文件和记录的位置。(bin日志文件默认在MySQL的data目录)

spring mysql读写分离 mysql读写分离架构_MySQL_07

从服务器的配置

  1. 修改从服务器的配置文件
  2. 使用在主服务器上的授权账号去连接主服务器,等待主服务器的数据的写入后,通知获取 # CHANGE MASTER TO
    MASTER_HOST='192.168.57.92', MASTER_USER='repuser',
    MASTER_PASSWORD='admin88',
    MASTER_LOG_FILE='master-bin.000002',
    MASTER_LOG_POS=107;
    使用上面的语句连接主服务器后,使用
    # show slave status\G
  3. 开启从服务器

spring mysql读写分离 mysql读写分离架构_spring mysql读写分离_08

命令:

  1. stop slave 可以停止 从服务器
  2. reset slave 清空从服务器的规则
  3. start slave 启动从服务器
  4. show slave status 查看从服务器状态
  5. show master status 查看主服务器状态

读写分离搭建

mac的前世今生

https://yunpan.cn/cY4gQ6sXWaTXd 访问密码 7a0b

下载mysql-proxy

http://mirrors.sohu.com/mysql/MySQL-Proxy/

  1. mysql-proxy上传
  2. 解压操作 #tar -zxvf mysql-proxy-0.8.4-linux-rhel5-x86-32bit.tar.gz -C
  3. 为mysql-proxy创建一个符号链接
  4. 添加一个mysql-proxy用户 # useradd mysql-proxy
  5. 命令查看

6. 在下面路径创建一个admin.lua脚本

spring mysql读写分离 mysql读写分离架构_spring mysql读写分离_09

参照

spring mysql读写分离 mysql读写分离架构_服务器_10

7. 服务启动

#

./mysql-proxy --daemon --log-level=debug

--log-file=/var/log/mysql-proxy.log

--plugins='proxy'

读写分离脚本

--proxy-lua-script='/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua'

写服务器

--proxy-backend-addresses='192.168.57.92:3306'

读服务器

--proxy-read-only-backend-addresses='192.168.57.29:3306'

--proxy-read-only-backend-addresses='192.168.57.37:3306'

--plugins='admin'

--admin-username='admin'

--admin-password='admin88' --admin-lua-script='/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua'

spring mysql读写分离 mysql读写分离架构_服务器_11

相关参数

spring mysql读写分离 mysql读写分离架构_服务器_12

MySQL读写分离的监控

mysql-proxy提供一个端口用来监控MySQL读写的实现

使用的默认端口是 4041

1. 使用下面的命令连接mysql-proxy的4041端口

# mysql -uadmin -padmin88 -h 192.168.57.92 --port 4041

spring mysql读写分离 mysql读写分离架构_MySQL_13

  1. 使用下面的命令查看读写服务器的状态 # select * from backends;
  2. 如果效果不明显,可以修改下面的文件参数

spring mysql读写分离 mysql读写分离架构_mysql_14