---------------------------------目录---------------------------------- 

前期扯淡:mysql主从复制和集群区别

一、 Mysql数据库主从复制一主一从

二、 Mysql数据库主从复制双主双从

-----------------------------------------------------------------------

哈哈!欢迎你的到来,俗话说磨刀不误砍柴工,来吧,咱们先看看Mysql的主从复制和集群概念的区别。 

MySQL集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。

集群所涉及到的三个概念:

  SQL节点(多个):应用程序和数据节点的一个桥梁,应用程序不能直接访问数据节点,只能先访问SQL节点,然后SQL节点再去访问数据节点来返回数据,Cluster中可以有多个SQL节点,通过每个SQL节点查询到的数据都是一致的,一般来说,SQL节点越多,分配到每个SQL节点的负载就越小,系统的整体性能就越好;

同步复制来保证各节点之间的数据一致性

  管理节点(一个):主要负责管理数据节点和SQL节点,还有集群配置文件和集群日志文件。它监控其他节点的工作状态,能够启动、关闭或者重启某个节点。其他节点从管理节点检索配置数据,当数据节点有新事件就把事件信心发送给管理节点并写入集群日志。

同步复制流程:

a) Master执行提交语句时,事务被发送到Slave,Slave开始准备事务的提交。
b) 每个slave都要准备事务,然后向Master发送OK(或ABORT)消息,表明事务已经准备好(或者无法准备该事务)。
c) Master等待所有Slave发送OK或ABORT消息,如果Master收到所有Slave的OK消息,它就会向所有Slave发送提交消息,告诉Slave提交该事务;如果 Master收到来自任何一个Slave的ABORT消息,它就向所有 Slave发送ABORT消息,告诉Slave去中止事务。
e) 每个Slave等待来自Master的OK或ABORT消息。如果Slave收到提交请求,它们就会提交事务,并向Master发送事务已提交 的确认;如果Slave收到取消请求,它们就会撤销所有改变并释放所占有的资源,从而中止事务,然后向Masterv送事务已中止的确认。
f) Master收到来自所有Slave的确认后,就会报告该事务被提交(或中止),然后继续进行下一个事务处理。
由于同步复制一共需要4次消息传递,故mysql cluster的数据更新速度比单机mysql要慢。所以mysql cluster要求运行在千兆以上的局域网内,节点可以采用双网卡,节点组之间采用直连方式。

主从复制是通过Mysql的Replication来保证数据的一致性。相对Mysql Cluster的异步数据同步方式。

Replication:首先主从服务器必须设置一个唯一的服务器id(局域网内唯一);其中主节点要开启binlog日志功能,binlog记录了master上的所有操作,同时也会被复制到从节点的Relaylog上,并在从节点上binlog回放执行。操作流程入下图所示:

mysql双主双活怎么连接 mysql双主一从_数据

 

主从复制的日志记录类型
  基于SQL语句的复制(statement):在Master上执行的SQL语句,在Slave根据主机系统时间去执行同样的语句。SQL执行同步根据系统时间来确定,MySQL默认采用基于语句的复制,效率比较高。弊端:SQL在主机执行和从机执行时间不一致,导致数据不一致。

弊端:如果执行一天update语句,影响1000万行,那么需要在从库执行1000万次,效率太低。

弊端:是不能识别@@host name 系统变量,同时每太主机的系统变量都不一致导致数据不一致。

一、 Mysql数据库主从复制一主一从

1、拉取镜像

登录docker 镜像官网搜索mysql,找到制定的版本拉去,这里使用mysql5.7.30,版本查找文档:Linux Centos7(Mac) 安装Docker教程

docker pull mysql:5.7.30

mysql双主双活怎么连接 mysql双主一从_SQL_02

2、查看docker的镜像

docker images

mysql双主双活怎么连接 mysql双主一从_mysql双主双活怎么连接_03

3、创建容器本地映射文件,目的持久化数据。

 master文件夹与文件准备,my.cnf文件重点关注属性server_id、log_bin、binlog_format、binlog_do_db、binlog_ignore_db.

mkdir -p /root/mysql/master/data /root/mysql/master/logs /root/mysql/master/conf
touch /root/mysql/master/conf/my.cnf

  在主节点的my.cnf配置文件中添加一下内容

[mysqld]
server_id = 1 # 唯一标识,主库从库不能重复
log_bin = mysql-bin # 开启日志
binlog_format=STATEMENT # 日志记录的格式类型
# max_binlog_size = 512M # 单个日志文件最大
# # expire_logs_day = 3 # 日志有效期(天)
# # binlog_do_db = test1,test2 # 日志记录(同步复制)那些数据库
# # binlog_ignore_db = mysql,performance_schema,information_schema # 日志记录忽略那些数据库的

slave文件夹与文件准备

mkdir -p /root/mysql/slave/data /root/mysql/slave/logs /root/mysql/slave/conf
touch /root/mysql/slave/conf/my.cnf

  在slave的my.cnf文件写入下面配置

[mysqld]
server_id = 2            # 数据库唯一id,内网唯一
log_bin = mysql-bin        # 开启日志,如果从库还会用做主库,建议配置
binlog_format=STATEMENT        # 日志记录的格式类型
# max_binlog_size = 512M     # 单个日志文件最大
# # expire_logs_day = 3       # 日志有效期(天)
# # replicate_do_db = test1,test2 # 是在slave上配置,指定slave要复制哪个库
# # replicate-ignore-db=mysql,performance_schema,information_schema  # 是在slave上配置,指定slave要忽略哪个库
# relay_log_recovery = 1     # 从库建议开启,有利于数据一致性
# log_slave_updates = 1      # 如果从库还会用做主库,建议开启

4、创建master主机容器,启动服务。

首先创建容器并启动:

docker run -p 3306:3306 --name mysqlMaster \
                -v /root/mysql/master/conf:/etc/mysql/conf.d \
                -v /root/mysql/master/logs:/var/log/mysql \
                -v /root/mysql/master/data:/var/lib/mysql \
                -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7.30

然后查看是否启动 docker ps:

mysql双主双活怎么连接 mysql双主一从_数据_04

接着登录master节点容器:

docker exec -it mysqlMaster /bin/bash

同时在master容器中执行以下SQL,创建用户授权,四步完成:登录mysql、创建用户、账号授权、刷新动态生效。

mysql -uroot -proot
CREATE USER 'slave'@'%' IDENTIFIED BY '123456'; GRANT ALL ON *.* TO 'slave'@'%';
GRANT ALL ON *.* TO 'slave'@'%';
flush privileges;

最后查看master的数据库状态,File 是记录的二进制文件名,Position偏移位置,从库会用到。还有需要复制的数据库和不需要忽略的数据库

show master status;

mysql双主双活怎么连接 mysql双主一从_mysql双主双活怎么连接_05

另开一个远程连接窗口,查看master容器ip地址,从库会用到:

docker inspect mysqlMaster|grep IPAddress

mysql双主双活怎么连接 mysql双主一从_SQL_06

5、创建slave主机容器、并启动(注意本地防火墙哦!)

汇总master节点信息

mysql双主双活怎么连接 mysql双主一从_mysql_07

然后启动创建slave库的容器并启动:

docker run -p 3305:3306 --name mysqlSlave \
                -v /root/mysql/slave/conf:/etc/mysql/conf.d \
                -v /root/mysql/slave/logs:/var/log/mysql \
                -v /root/mysql/slave/data:/var/lib/mysql \
                -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7.30

 登录从库容器

docker exec -it mysqlSlave /bin/bash

登录从库mysql服务器

mysql -uroot -proot

在slave从库中进行配置从库主从信息,如下命令为解释,操作如下图

change master to      开启配置主从信息
    -> master_host='172.18.0.2', 指定主节点ip
    -> master_port=3306,      指定主节点端口
    -> master_user='slave',    登录主节点拉去二进制文件的用户名
    -> master_password='123456',   用户密码
    -> master_log_file='mysql-bin.000001',  二进制文件名,对应File字段
    -> master_log_pos=154;               二进制偏移位置对应Position偏移位置

mysql双主双活怎么连接 mysql双主一从_数据_08

启动slave线程,如果配置错误输入stop slave; 然后重新录入一遍上一步命令

start slave;

mysql双主双活怎么连接 mysql双主一从_mysql双主双活怎么连接_09

查看salve数据库状态,如果

show slave status \G;

mysql双主双活怎么连接 mysql双主一从_mysql_10

6主从验证

在主库创建数据库

CREATE SCHEMA `test1` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci ;

在从库中查看:

mysql双主双活怎么连接 mysql双主一从_数据_11

二、 Mysql数据库主从复制双主双从

 

双主双从主要是my.cof配置和双主复制的命令不同,mysql默认的自增开始和自增的步长不同

master节点1的配置

[mysqld]
server-id=1
log-bin=mysql-bin
#binlog-do-db指定同步的库名,建议使用binlog-ignore-db忽略某些库
binlog-do-db=mycat_m_s
binlog_format=STATEMEN

log-slave-updates
auto-increment-increment=2
auto-increment-offset=1

master节点2配置

[mysqld]
server-id=3
log-bin=mysql-bin
#binlog-do-db指定同步的库名,建议使用binlog-ignore-db忽略某些库
binlog-do-db=mycat_m_s 
binlog_format=STATEMEN 
log-slave-updates 
auto-increment-increment=2 
auto-increment-offset=2

双主复制的命令

#主机2复制主机1命令
change master to master_host='192.168.220.102',
master_port=3307,
master_user='slave', 
master_password='123456', 
master_log_file='mysql-bin.000005',
master_log_pos=333,
master_connect_retry=60;


#主机1复制主机2命令
change master to master_host='192.168.220.102',
master_port=3309,
master_user='slave', 
master_password='123456', 
master_log_file='mysql-bin.000002',
master_log_pos=443,
master_connect_retry=60;

然后启动主库的从库

start slave