MySQL 主从读写分离 mysql主从和读写分离

转载

mob6454cc773039 2023-09-28 20:12:51

文章标签 MySQL 主从读写分离数据库 mysql java 主从复制 文章分类 MySQL 数据库

文章目录

一、为什么要使用主从复制和读写分离
二、主从复制的原理
三、如何实现主从复制

3.1 master配置
3.2 slave配置
3.3 测试主从复制

四、读写分离
五、缺点

一、为什么要使用主从复制和读写分离

注意到主从复制和读写分离一般是一起使用的。目的很简单，就是提高数据库的并发性能。比如说，假设是单机，读和写都在一台mysql上面完成，性能肯定不高，如果有三台mysql，一台master只负责写操作，两台slave负责读操作，性能不就可以大大提高了吗。

所以主从复制和读写分离就是为了数据库能支持更大的并发。

随着业务量的扩展，如果是单机部署的mysql，会导致IO频率过高。采用主从复制和读写分离可以提高数据库的可用性。

二、主从复制的原理

当master节点进行insert, update, delete操作的时候，会按照顺序写入binlog中。
slave连接master主库，master有多少个slave就会创建多少个binlog dump线程。
当master节点的binlog发生变化的时候，binlog dump线程会通知所有的slave节点，并将相应的binlog内容推送给各个slave节点。
IO线程接受到binlog内容后，将内容写入到本地的relay-log(中继日志)。
SQL线程读取IO线程写入的relay-log,并且根据relay-log的内容对slave数据库做相应的操作，

请注意，master节点和所有的slave节点都有的自己的bin-log。binlog是一个会记录数据库所有操作的二进制数据库，从库从relay-log执行的所有操作都会写入到自己的binlog中。

三、如何实现主从复制

假设我们有三台虚拟机。IP分别是104(master)，106(slave),107(slave).

预期的架构是一主二从，如下图所示：

MySQL 主从读写分离 mysql主从和读写分离_数据库

3.1 master配置

//使用命令行进入mysql：
mysql -u root -p
//192.168.0.106是slave从机的IP
GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.106' identified by 'Java@1234';
//192.168.0.107是slave从机的IP
GRANT REPLICATION SLAVE ON *.* to 'root'@'192.168.0.107' identified by 'Java@1234';
//刷新系统权限表的配置
FLUSH PRIVILEGES;

//创建的这两个用户在配置slave从机时要用到
//接下来找到mysql的配置文件/etc/my.cnf，增加以下配置：
# 开启binlog
log-bin=mysql-bin
server-id=104
# 需要同步的数据库，如果不配置则同步全部数据库
binlog-do-db=test_db
# binlog日志保留的天数，清除超过10天的日志
# 防止日志文件过大，导致磁盘空间不足
expire-logs-days=10 

//配置完成后，重启mysql
service mysql restart

//在mysql中，可以通过show master status\G;查看当前binlog日志的信息（后面有用）

MySQL 主从读写分离 mysql主从和读写分离_主从复制_02

3.2 slave配置

slave的配置相对会简单一些，首先找到/etc/my.conf配置文件，增加以下配置

# 不要和其他mysql服务id重复即可
server-id=106
#接着使用命令行登录到mysql服务器:
mysql -u root -p
#进入到mysql中，输入以下命令
CHANGE MASTER TO 
MASTER_HOST='192.168.0.104',//主机IP
MASTER_USER='root',//之前创建的用户账号
MASTER_PASSWORD='Java@1234',//之前创建的用户密码
MASTER_LOG_FILE='mysql-bin.000001',//master主机的binlog日志名称
MASTER_LOG_POS=2409,//binlog日志偏移量，和上图中的position一样
master_port=3306;//端口

#设置完之后启动slave服务
start slave;

#启动完之后校验一下是否启动成功:
show slave status\G;

当看到Slave_IO_Running: Yes 以及 Slave_SQL_Running: Yes时说明配置成功
#可以看到以下信息
**************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  **Master_Host: 192.168.0.104**
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 619
               Relay_Log_File: mysqld-relay-bin.000001
                Relay_Log_Pos: 782
        Relay_Master_Log_File: mysql-bin.000001 //binlog日志文件名称
             Slave_IO_Running: Yes //Slave_IO线程、SQL线程都在运行
            Slave_SQL_Running: Yes
             Master_Server_Id: 104 //master主机的服务id
                  Master_UUID: 0ab6b3a6-e21d-11ea-aaa3-080027f8d623
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
           Master_Retry_Count: 86400
                Auto_Position: 0

另外一个slave的配置也一样，在这里不再赘述。

3.3 测试主从复制

在master主机执行sql:

CREATE TABLE `tb_commodity_info` (
  `id` varchar(32) NOT NULL,
  `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名称',
  `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品价格',
  `number` int(10) DEFAULT '0' COMMENT '商品数量',
  `description` varchar(2048) DEFAULT '' COMMENT '商品描述',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表';

接着我们可以看到两台slave也同步创建了商品信息表:

MySQL 主从读写分离 mysql主从和读写分离_主从复制_03

四、读写分离

在实现完主从复制之后，我们还需要实现读写分离，master负责写入数据，两个slave负责读取数据。实现的方式有很多，比如采用Spring AOP的方式去判断输入的mysql语句，如果sql语句中包含get,select,query就去连接slave，否则就去连接master。

但是通过AOP的方式实现起来代码有点繁琐，有没有什么现成的框架呢，答案是有的。Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈，它由 JDBC、Proxy两部分组成。读写分离就可以使用ShardingSphere-JDBC实现。

项目配置
版本说明

SpringBoot：2.0.1.RELEASE
druid：1.1.22
mybatis-spring-boot-starter:1.3.2
mybatis-plus-boot-starter：3.0.7
sharding-jdbc-spring-boot-starter:4.1.1

添加sharding-jdbc的maven配置：

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.1</version>
</dependency>

然后在application.yml添加配置：

# 这是使用druid连接池的配置，其他的连接池配置可能有所不同
spring:
  shardingsphere:
    datasource:
      names: master,slave0,slave1
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.108:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: yehongzhi
        password: YHZ@1234
      slave0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.109:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: yehongzhi
        password: YHZ@1234
      slave1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.110:3306/test_db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT
        username: yehongzhi
        password: YHZ@1234
    props:
      sql.show: true
    masterslave:
      load-balance-algorithm-type: round_robin
    sharding:
      master-slave-rules:
        master:
          master-data-source-name: master
          slave-data-source-names: slave0,slave1

sharding.master-slave-rules是标明主库和从库，一定不要写错，否则写入数据到从库，就会导致无法同步。

load-balance-algorithm-type是路由策略，round_robin表示轮询策略。

启动项目，可以看到以下信息，代表配置成功：

MySQL 主从读写分离 mysql主从和读写分离_主从复制_04