一、集群的目标

高可用(High Avaliability),是当一台服务器停止服务后,对于业务及用户毫无影响。停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致,在很多时候也称为单点问题。

突破数据量限制,一台服务器不能存储大量数据,需要多台分担,每个存储一部分,共同存储完整个集群数据,最好能做到互相备份,即使单节点故障,也能在其他节点找到数据。

数据备份容灾,单节点故障后,存储的数据仍然可以在别的地方拉起。

分担压力,由于多个服务器都能完成各自一部分工作,所以尽量的避免了单点压力的存在。

二、集群的基础形式

Docker 部署 MySQL 主从同步_mysql

三、MySQL集群

MySQL-MMM是Master-Master-Replication Manager for Mysql(MySQL主主复制管理器)的简称。MMM基于MySQL Replication 做的扩展架构,主要用来监控 MySQL 主主复制并做失败转移。其原理是将真实数据库节点的IP(RIP)映射为虚拟的IP(VIP)集。

MySQL 主从同步

1、下载MySQL镜像

sudo docker pull mysql:5.7

2、创建两个实例并启动masterslave

docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql/master/log:/var/log/mysql \
-v /mydata/mysql/master/data:/var/lib/mysql \
-v /mydata/mysql/master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7
docker run -p 3307:3306 --name mysql-master \
-v /mydata/mysql/master/log:/var/log/mysql \
-v /mydata/mysql/master/data:/var/lib/mysql \
-v /mydata/mysql/master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7

修改master基本配置:

vi /mydata/mysql/master/conf/my.cnf
[client]
default-character-set=utf8

[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve

修改 slave 基本配置

vi /mydata/mysql/slaver/conf/my.cnf
[client]
default-character-set=utf8

[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve

4、添加主从复制部分配置

主MySQL配置文件修改

#master-slaver repication
#主服务器唯一ID
server_id=1
#启用二进制日志
log-bin=mysql-bin
#是否只读(1只读)
read-only=0
#设置需要复制的数据库
binlog-do-db=gulimall_ums
binlog-do-db=gulimall_pms
binlog-do-db=gulimall_oms
binlog-do-db=gulimall_wms
binlog-do-db=gulimall_admin

# 设置不要复制的数据库(可设置多个)
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

#设置logbin格式
binlog_format=STATEMENT

修改完配置后重启master。

从MySQL配置文件修改:

修改配置文件: vim /etc/my.cnf
#master-slaver repication
#从服务器唯一ID
server_id=2
log-bin=mysql-bin
read-only=1
binlog-do-db=gulimall_ums
binlog-do-db=gulimall_pms
binlog-do-db=gulimall_oms
binlog-do-db=gulimall_wms
binlog-do-db=gulimall_admin

replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

#启用中继日志
#relay-log=mysql-relay

配置好之后重启 slaver。

为master授权用户来同步它的数据

1、进入master容器

docker exec -it mysql /bin/bash

2、进入mysql内部

mysql -uroot -p

1)、授权 root可以远程访问(主从无关,为了方便我们远程连接MySQL)

grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
flush privileges;

2)、添加用来同步的用户

GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456';

3)、查看master状态

show master status;

配置slaver同步master数据

1、进入slaver容器

docker exec -it mysql-slaver-01 /bin/bash

2、进入mysql内部

mysql -uroot -p

1)、授权 root可以远程访问(主从无关,为了方便我们远程连接MySQL)

grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
flush privileges;

2)、设置主库连接

change master to master_host='192.168.10.10',master_user='backup',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=0,master_port=3307;

#复制主机的命令
CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='123123',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;

3)、启动从库同步

start slave;

4)、查看从从库状态

show slave status\G;

Docker 部署 MySQL 主从同步_字段_02
如果主从库数据不同步,则可以使用如下命令临时解决:

mysql> stop slave;
Query OK, 0 rows
affected (0.00 sec)

mysql> set global sql_slave_skip_counter=1;
Query OK, 0 rows
affected (0.00 sec)

mysql> start slave;
Query OK, 0 rows
affected (0.00 sec)
搭建双主双从

一个主机 m1 用于处理所有写请求, 它的从机 s1 和另一台主机 m2 还有它的从机 s2 负责所有读请求。当 m1 主机宕机后, m2 主机负责写请求, m1、 m2 互为备机。 架构图如下
Docker 部署 MySQL 主从同步_服务器_03

编号 角色 IP 地址 机器名
1 Master1 192.168.140.128 host79.atguigu
2 Slave1 192.168.140.127 host80.atguigu
3 Master2 192.168.140.126 host81.atguigu
4 Slave2 192.168.140.125 host82.atguigu

1、 搭建 MySQL 数据库主从复制(双主双从)
① 双主机配置
Master1配置

修改配置文件: vim /etc/my.cnf
#主服务器唯一ID
server-id=1
#启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
#设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
#设置logbin格式
binlog_format=STATEMENT
# 在作为从数据库的时候, 有写入操作也要更新二进制日志文件
log-slave-updates
#表示自增长字段每次递增的量,指自增字段的起始值,其默认值是1, 取值范围是1 .. 65535
auto-increment-increment=2
# 表示自增长字段从哪个数开始,指字段一次递增多少,他的取值范围是1 .. 65535
auto-increment-offset=1

Master2配置

修改配置文件: vim /etc/my.cnf
#主服务器唯一ID
server-id=3
#启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
#设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
#设置logbin格式
binlog_format=STATEMENT
# 在作为从数据库的时候,有写入操作也要更新二进制日志文件
log-slave-updates
#表示自增长字段每次递增的量,指自增字段的起始值,其默认值是1,取值范围是1 .. 65535
auto-increment-increment=2
# 表示自增长字段从哪个数开始,指字段一次递增多少,他的取值范围是1 .. 65535
auto-increment-offset=2

② 双从机配置
Slave1配置

修改配置文件: vim /etc/my.cnf
#从服务器唯一ID
server-id=2
#启用中继日志
relay-log=mysql-relay

Slave2配置

修改配置文件: vim /etc/my.cnf
#从服务器唯一ID
server-id=4
#启用中继日志
relay-log=mysql-relay

③ 双主机、 双从机重启 mysql 服务
④ 主机从机都关闭防火墙
⑤ 在两台主机上建立帐户并授权 slave

#在主机MySQL里执行授权命令
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' IDENTIFIED BY '123123';
#查询Master1的状态
show master status;

Docker 部署 MySQL 主从同步_服务器_04
#查询Master2的状态

show master status;

Docker 部署 MySQL 主从同步_服务器_05

#分别记录下File和Position的值
#执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化

⑥ 在从机上配置需要复制的主机
Slava1 复制 Master1, Slava2 复制 Master2

#复制主机的命令
CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='123123',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;

Slava1的复制命令Docker 部署 MySQL 主从同步_mysql_06
Slava2的复制命令
Docker 部署 MySQL 主从同步_服务器_07


#启动两台从服务器复制功能
start slave;
#查看从服务器状态
show slave status\G;

#Slava1的复制Master1
Docker 部署 MySQL 主从同步_数据库_08
#Slava2的复制Master2
Docker 部署 MySQL 主从同步_mysql_09

#下面两个参数都是Yes,则说明主从配置成功!
# Slave_IO_Running: Yes
# Slave_SQL_Running: Yes

⑦ 两个主机互相复制
Master2 复制 Master1, Master1 复制 Master2

Master2的复制命令
Docker 部署 MySQL 主从同步_mysql_10
Master1的复制命令
Docker 部署 MySQL 主从同步_字段_11

#启动两台主服务器复制功能
start slave;
#查看从服务器状态
show slave status\G;

Master2的复制Master1

Docker 部署 MySQL 主从同步_数据库_12
Master1的复制Master2
Docker 部署 MySQL 主从同步_数据库_13

#下面两个参数都是Yes,则说明主从配置成功!
# Slave_IO_Running: Yes
# Slave_SQL_Running: Yes

⑧ Master1 主机新建库、新建表、 insert 记录, Master2 和从机复制
Docker 部署 MySQL 主从同步_mysql_14
⑨ 如何停止从服务复制功能

stop slave;

⑩ 如何重新配置主从

stop slave;
reset master;

2、 修改 Mycat 的配置文件 schema.xml

修改的balance属性,通过此属性配置读写分离的类型

负载均衡类型,目前的取值有4 种:
(1) balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。
(2) balance="1",全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从
模式(M1->S1, M2->S2,并且 M1 与 M2 互为主备),正常情况下, M2,S1,S2 都参与 select 语句的负载均衡。
(3) balance="2",所有读操作都随机的在 writeHost、 readhost 上分发。
(4) balance="3",所有读请求随机的分发到 readhost 执行, writerHost 不负担读压力

为了双主双从读写分离balance设置为1

…
<dataNode name="dn1" dataHost="host1" database="testdb" />
<dataHost name="host1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"
slaveThreshold="100" >
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.140.128:3306" user="root"
password="123123">
<!-- can have multi read hosts -->
<readHost host="hostS1" url="192.168.140.127:3306" user="root"
password="123123" />
</writeHost>
<writeHost host="hostM2" url="192.168.140.126:3306" user="root"
password="123123">
<!-- can have multi read hosts -->
<readHost host="hostS2" url="192.168.140.125:3306" user="root"
password="123123" />
</writeHost>
</dataHost>
… #
balance="1": 全部的readHost与stand by writeHost参与select语句的负载均衡。
#writeType="0": 所有写操作发送到配置的第一个writeHost,第一个挂了切到还生存的第二个
#writeType="1",所有写操作都随机的发送到配置的 writeHost, 1.5 以后废弃不推荐
#writeHost,重新启动后以切换后的为准,切换记录在配置文件中:dnindex.properties 。
#switchType="1": 1 默认值,自动切换。
# -1 表示不自动切换
# 2 基于 MySQL 主从同步的状态决定是否切换。

Docker 部署 MySQL 主从同步_数据_15
3、 启动 Mycat
4、 验证读写分离

#在写主机Master1数据库表mytbl中插入带系统变量数据, 造成主从数据不一致
INSERT INTO mytbl VALUES(3,@@hostname);

Docker 部署 MySQL 主从同步_服务器_16

#在Mycat里查询mytbl表,可以看到查询语句在Master2(host81) 、 Slava1(host80) 、 Slava2(host82)主从三个主机间切换

5、 抗风险能力
停止数据库Master1
Docker 部署 MySQL 主从同步_mysql_17
在Mycat里插入数据依然成功, Master2自动切换为写主机
INSERT INTO mytbl VALUES(3,@@hostname);
Docker 部署 MySQL 主从同步_数据库_18