Docker Compose搭建MySQL主从复制集群

原创

mb5ff97fc6948e0 2021-02-06 20:01:11 ©著作权

文章标签 java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mb5ff97fc6948e0的原创作品，请联系作者获取转载授权，否则将追究法律责任

前言

随着应用业务数据不断的增大，应用的响应速度不断下降，在检测过程中我们不难发现大多数的请求都是查询操作。此时，我们可以将数据库扩展成主从复制模式，将读操作和写操作分离开来，多台数据库分摊请求，从而减少单库的访问压力，进而应用得到优化。

正文

主从复制的方式

MySQL5.6 开始主从复制有两种方式：基于日志（ binlog）和基于 GTID（全局事务标示符）。

本文只涉及基于日志 binlog 的主从配置。主从复制的流程

MySQL 同步操作通过 3 个线程实现，其基本步骤如下：

主服务器 将数据的更新记录到 二进制日志（ Binarylog）中，用于记录二进制日志事件，这一步由 主库线程 完成；

从库 将 主库 的 二进制日志 复制到本地的 中继日志（ Relaylog），这一步由 从库 I/O 线程 完成；

从库 读取 中继日志 中的 事件，将其重放到数据中，这一步由 从库 SQL 线程 完成。

主从模式的优点

1. 负载均衡

通常情况下，会使用主服务器对数据进行更新、删除和新建等操作，而将查询工作落到从库头上。

2. 异地容灾备份

可以将主服务器上的数据同步到异地从服务器上，极大地提高了数据安全性。

3. 高可用

数据库的复制功能实现了主服务器与从服务器间的数据同步，一旦主服务器出了故障，从服务器立即担当起主服务器的角色，保障系统持续稳定运作。

4. 高扩展性

主从复制模式支持 2 种扩展方式:

```
scale-up
```

向上扩展或者纵向扩展，主要是提供比现在服务器性能更好的服务器，比如增加 CPU 和内存以及磁盘阵列等，因为有多台服务器，所以可扩展性比单台更大。

```
scale-out
```

向外扩展或者横向扩展，是指增加服务器数量的扩展，这样主要能分散各个服务器的压力。

主从模式的缺点

1. 成本增加

搭建主从肯定会增加成本，毕竟一台服务器和两台服务器的成本完全不同，另外由于主从必须要开启二进制日志，所以也会造成额外的性能消耗。

2. 数据延迟

从库从主库复制数据肯定是会有一定的数据延迟的。所以当刚插入就出现查询的情况，可能查询不出来。当然如果是插入者自己查询，那么可以直接从主库中查询出来，当然这个也是需要用代码来控制的。

3. 写入更慢

主从复制主要是针对读远大于写或者对数据备份实时性要求较高的系统中。因为主服务器在写中需要更多操作，而且只有一台可以写入的主库，所以写入的压力并不能被分散。

主从复制的前提条件

主从服务器 操作系统版本 和 位数 一致。

主数据库和从数据库的 版本 要一致。

主数据库和从数据库中的 数据 要一致。

主数据库 开启 二进制日志，主数据库和从数据库的 server_id 在局域网内必须 唯一。

具体配置

1. 环境准备

2. 配置docker-compose.yml

docker-compose.yml

version: '2'

services:

  mysql-master:

    build:

      context: ./

      dockerfile: master/Dockerfile

    environment:

      - "MYSQL_ROOT_PASSWORD=root"

      - "MYSQL_DATABASE=replicas_db"

    links:

      - mysql-slave

    ports:

      - "33065:3306"

    restart: always

    hostname: mysql-master

  mysql-slave:

    build:

      context: ./

      dockerfile: slave/Dockerfile

    environment:

      - "MYSQL_ROOT_PASSWORD=root"

      - "MYSQL_DATABASE=replicas_db"

    ports:

      - "33066:3306"

    restart: always

    hostname: mysql-slave

3. 主数据库配置

3.1. 配置Dockerfile

Dockerfile

FROM mysql:5.7.17

MAINTAINER harrison

ADD ./master/my.cnf /etc/mysql/my.cnf

3.2. 配置my.cnf文件

my.cnf

[mysqld]

## 设置server_id，一般设置为IP，注意要唯一

server_id=100  

## 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）

binlog-ignore-db=mysql  

## 开启二进制日志功能，可以随便取，最好有含义（关键就是这里了）

log-bin=replicas-mysql-bin  

## 为每个session分配的内存，在事务过程中用来存储二进制日志的缓存

binlog_cache_size=1M  

## 主从复制的格式（mixed,statement,row，默认格式是statement）

binlog_format=mixed  

## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。

expire_logs_days=7  

## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。

## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致

slave_skip_errors=1062

4. 从数据库配置

4.1. 配置Dockerfile

Dockerfile

FROM mysql:5.7.17

MAINTAINER harrison

ADD ./slave/my.cnf /etc/mysql/my.cnf

4.2. 配置my.cnf文件

[mysqld]

## 设置server_id，一般设置为IP，注意要唯一

server_id=101  

## 复制过滤：也就是指定哪个数据库不用同步（mysql库一般不同步）

binlog-ignore-db=mysql  

## 开启二进制日志功能，以备Slave作为其它Slave的Master时使用

log-bin=replicas-mysql-slave1-bin  

## 为每个session 分配的内存，在事务过程中用来存储二进制日志的缓存

binlog_cache_size=1M  

## 主从复制的格式（mixed,statement,row，默认格式是statement）

binlog_format=mixed  

## 二进制日志自动删除/过期的天数。默认值为0，表示不自动删除。

expire_logs_days=7  

## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。

## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致

slave_skip_errors=1062  

## relay_log配置中继日志

relay_log=replicas-mysql-relay-bin  

## log_slave_updates表示slave将复制事件写进自己的二进制日志

log_slave_updates=1  

## 防止改变数据(除了特殊的线程)

read_only=1

5. 创建容器

进入 docker 目录，运行 docker-compose 启动命令。

$ docker-compose up -d

如图所示， MySQL 主数据库和从数据库的容器创建成功。

分别配置主数据库和从数据库的连接信息如下：

```
主数据库
```

```
从数据库
```

6. 配置从数据库

检查从库的起始状态

$ show master status;

如图所示，从数据库处于未同步复制状态。检查主库的状态

$ show master status;

记录主数据库 binary-log 的文件名称和数据同步起始位置。

```
File: replicas-mysql-bin.000003
```
```
Position: 154
```

从库配置主库信息

在从数据库上运行主数据库的相关配置 sql 进行主从关联

CHANGE MASTER TO

    MASTER_HOST='mysql-master',

    MASTER_USER='root',

    MASTER_PASSWORD='root',

    MASTER_LOG_FILE='replicas-mysql-bin.000003',

    MASTER_LOG_POS=154;

重新启动 slave 服务

$ stop slave

$ start slave

进一步检查从数据库的状态信息，两者已经进行数据同步关联。

7. 创建目标表

在主数据库中创建一张测试数据表 course

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------

-- Table structure for course

-- ----------------------------

DROP TABLE IF EXISTS `course`;

CREATE TABLE `course` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `name` varchar(20) NOT NULL,

  `lesson_period` double(5,0) DEFAULT NULL,

  `score` double(10,0) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

主数据库和从数据库的数据处于同步状态，主从复制集群搭建完成。