一,MySQL主从配置原理

 

1. mysql支持的复制格式

基于语句复制(STATEMENT)

  • (优点)基于statement复制的优点很明显,简单的记录执行语句同步到从库执行同样的语句,占用磁盘空间小,网络传输快,并且通过mysqlbinlog工具容易读懂其中的内容 。
  • (缺点)并不是所有语句都能复制的比如:insert into table1(create_time) values(now()),取的是数据当前时间,不同的数据可能时间不一致,另外像存储过程和触发器也可能存在问题。

基于行复制(ROW)

  • (优点)从MySQL5.1开始支持基于行的复制,最大的好处是可以正确地复制每一行数据。一些语句可以被更加有效地复制,另外就是几乎没有基于行的复制模式无法处理的场景,对于所有的SQL构造、触发器、存储过程等都能正确执行。
  • (缺点)主要的缺点就是二进制日志可能会很大,比如:update table1 set name='admin' where id<1000,基于行复制可能需要复制1000条记录,而基于语句复制只有一条语句,另外一个缺点就是不直观,所以,你不能使用mysqlbinlog来查看二进制日志。

混合类型的复制(MIXED)

  • 混合复制是借用语句复制和行复制的有点进行整合,MIXED也是MySQL默认使用的二进制日志记录方式,但MIXED格式默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。比如用到UUID()、USER()、CURRENT_USER()、ROW_COUNT()等无法确定的函数。

2. mysql主从复制作用

数据分布。

  • 主从分摊负载。
  • 高可用性和故障切换。
  • 数据备份。
  • 利用从服务器做查询。

3. mysql主从复制原理

binlog Events
我们知道binlog日志用于记录所有对MySQL的操作的变更,而这每一个变更都会对应的事件,也就是Event。index文件记录了所有的binlog位置 每个binlog会有heade, event,rotate三个event,binlog的结构如下。

mysql 把某行的值复制另一行 mysql 复制一行数据_MySQL

常见event如下:

  • Format_desc:一个全新的binlog日志文件event信息
  • Rotate :日志分割时结束event。
  • Table_map:表,列等元数据的event。
  • Query:查询,就是DDL这类的Event,如果binlog格式为STATEMENT格式,增删改都属于Qeury event。
  • Write_rows:Binlog为ROW格式时的插入event。
  • Update_rows:Binlog为ROW格式时的更新event。
  • Delete_rows:Binlog为ROW格式时的删除event。

我们也可以通过binlog 看到这些事件,通过mysql提供的工具查看binlog日志,如下:

mysql 把某行的值复制另一行 mysql 复制一行数据_数据库_02

主从复制流程

mysql 把某行的值复制另一行 mysql 复制一行数据_数据库_03

  • 当从库发出 start slave命令时,从库会创建I/O线程和SQL thread(SQL线程)
  • 从库的IO和主库的dump线程建立连接 并监听binlog二进制日志事件
  • 从库根据change master to 语句提供的file名和position号,IO线程向主库发起binlog的请求
  • 主库dump线程根据从库的请求,将本地binlog以events的方式发给从库IO线程
  • 从库IO线程接收binlog evnets,并存放到本地relay-log中,传送过来的信息,会记录到master.info中。
  • 从库SQL线程应用relay-log,并且把应用过的记录到relay-log.info,默认情况下,已经应用过的relay会自动被清理purge。

二,MySQL只从配置缺陷

MySQL的复制(replication)功能配置简单,深受开发人员的喜欢,基于复制的读写分离方案也非常流行。而MySQL数据库高可用大
多也是基于复制技术,但是MySQL复制本身依然存在部分缺陷,最为主要的问题如下:
  • 数据丢失问题(consistency)
  • 数据同步延迟问题(delay)
  • 扩展性问题(scalability)

从MySQL 5.7的lossless semi-sync replication已经解决了主从数据丢失的问题,MySQL 5.7的multi-thread slave也很大程度地解决了数据同步延迟的问题,MySQL 5.7的Group replication也很大程度地解决了扩展性问题。另外,MySQL 5.7.22 backlog了MySQL 8.0中的基于WriteSet的并行复制,可以说完全解决了主从数据延迟的问题。可以看出,MySQL正在朝着一个非常好的方向发展

三,准备工作

准备3台服务器分别为:

Master  192.168.1.234

Slave 192.168.1.235

Slave 192.168.1.236

四,MySQL安装配置

下载MySQL安装包

下载地址:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz

解压安装文件:

[root@localhost ~]# cd /software
[root@localhost software]# tar -zxzf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz

拷贝安装文件到指定文件夹:

[root@localhost ~]# cp /software/mysql-5.7.17-linux-glibc2.5-x86_64/* /usr/local/mysql -r

添加系统mysql组和mysql用户

[root@localhost ~]# groupadd mysql
[root@localhost ~]# useradd -r -g mysql mysql

进入安装mysql软件目录:执行命令 cd /usr/local/mysql

mysql 把某行的值复制另一行 mysql 复制一行数据_服务器_04

修改当前目录拥有者为mysql用户:执行命令 chown -R mysql:mysql ./

mysql 把某行的值复制另一行 mysql 复制一行数据_数据库_05

安装数据库:

5.6以及之前版本安装数据库

/usr/local/mysql/bin/mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql 把某行的值复制另一行_06

5.7版本安装数据库:

/usr/local/mysql/bin/mysqld --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/ --initialize 

mysql 把某行的值复制另一行 mysql 复制一行数据_数据库_07

拷贝配置文件到指定文件夹

[root@localhost mysql]# cp -a ./support-files/my-default.cnf /etc/my.cnf

[root@localhost mysql]# cp -a ./support-files/mysql.server /etc/init.d/mysqld

mysql 把某行的值复制另一行 mysql 复制一行数据_服务器_08

后台启动mysql

[root@localhost mysql]# ./bin/mysqld_safe --user=mysql &

mysql 把某行的值复制另一行 mysql 复制一行数据_服务器_09

重启mysql

执行命令: /etc/init.d/mysqld restart

mysql 把某行的值复制另一行 mysql 复制一行数据_MySQL_10

设置为开机启动:

执行命令:chkconfig --level 35 mysqld on

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql_11

初始化密码:

依据官方说明5.6以后版本,第一次启动时会在root目录下生产一个随机密码文件名.mysql_secret。

cat /root/.mysql_secret

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql_12

修改root密码:

/usr/local/mysql/bin/mysqladmin -u root -h localhost password '123456' -p

Enter password处输入输入.mysql_secret里第二行内容

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql 把某行的值复制另一行_13

遇上-bash: mysql: command not found(未找到命令)的情况别着急,这个是因为/usr/local/bin目录下缺失mysql导致,只需要一下方法建立软链接,即可以解决

ln -s /usr/local/mysql/bin/mysql /usr/bin

mysql 把某行的值复制另一行 mysql 复制一行数据_服务器_14

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql 把某行的值复制另一行_15

五,MySQL主从复制配置

下载MySQL安装包

Master服务器my.cnf增加配置:

#GTID:
server_id=234              #服务器id,一般为IP末位
gtid_mode=on                 #开启gtid模式
enforce_gtid_consistency=on  #强制gtid一致性,开启后对于特定create table不被支持

#binlog
log_bin=/usr/local/mysql/binlogs/master-binlog
log-slave-updates=1    
binlog_format=row            #强烈建议,其他格式可能造成数据不一致

#relay log
skip_slave_start=1

Slave服务器my.cnf增加配置:

#GTID:
gtid_mode=on
enforce_gtid_consistency=on
server_id=235

#binlog
log-bin=/usr/local/mysql/binlogs/slave-binlog
log-slave-updates=1
binlog_format=row      #强烈建议,其他格式可能造成数据不一致

#relay log
skip_slave_start=1
read-only = ON   #这项功能只对非管理员组以为的用户有效

Master服务器上创建用于同步的账号:

create user 'cspmslave'@'192.168.1.%' identified by 'cspm-slave';

对账号进行Slave授权:

grant replication slave on *.* to cspmslave@'192.168.1.%';

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql_16

从库连接主库

mysql> change master to master_host='192.168.1.234', master_port=3306, master_user='cspmslave', master_password='cspm-slave', master_auto_position=1;

mysql> start slave;

mysql 把某行的值复制另一行 mysql 复制一行数据_数据库_17

查看从服务器连接状态(下图所示,两个Yes表示连接成功):

mysql> show slave status \G;

mysql 把某行的值复制另一行 mysql 复制一行数据_mysql 把某行的值复制另一行_18