MyCat及主从分库分表方案

1、MyCAT基础架构准备

1.1 环境准备:

两台虚拟机 db01 db02

每台创建四个Mysql实例 3307 3308 3309 3310

数据目录:/data/

1.2 删除历史环境(在需要时执行)

pkill mysqlrm -rf /data/*mv /etc/my.cnf /etc/my.cnf.bak

数据库准备

一、Mysql5.7.29服务器下载

[root@localhost local]# cd /usr/local[root@localhost local]# wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz

二、服务器安装过程

2.1、创建安装包存放目录

命令:mkdir -p /server/tools

[root@localhost local]# mkdir -p /server/tools

2.2、创建应用软件解压安装目录

命令:mkdir -p /application

[root@localhost local]# mkdir -p /application

2.3、在安装包存放目录中解压服务器程序

[root@localhost local]# tar -xf /usr/local/mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_d3

2.4、将解压的服务器目录移动到安装目录

命令:mv mysql-5.7.29-linux-glibc2.12-x86_64 /application/mysql

[root@localhost local]# mv /usr/local/mysql-5.7.29-linux-glibc2.12-x86_64 /application/mysql

服务器目录规划图:

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_配置文件_02

暂时直接在主机上创建目录/data(可以根据需要决定是否需要挂载磁盘)

2.5 挂载新的磁盘相关操作:

2.5.1、添加磁盘新卷:略

2.5.2、查询服务器磁盘列表:

命令:fdisk -l

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_mysql 双节点主从搭建_03

2.5.3、格式化需要挂载的新卷:/dev/sdc

命令:mkfs.xfs /dev/sdc

2.5.4、创建挂载目录

命令:mkdir /data

2.5.5、查询新磁盘的UUID

命令:blkid

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_配置文件_04

2.5.6、添加磁盘自动挂载:

vim /etc/fstabUUID="ba1ec30-e251-4ded-bc12-2d940f938dd5" /data xfs defaults 0 0

2.5.7、进行磁盘挂载

mount -adf -h

2.6、创建数据库数据存放目录

mkdir -p /data/mysql/data

2.7、创建mysql启动用户

useradd -s /sbin/nologin mysql

2.8、修改环境变量,将mysqld命令添加到环境变量

vim /etc/profileexport PATH=/application/mysql/bin:$PATH

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_配置文件_05

让环境变量生效:

source /etc/profile

2.9、查询Mysql服务器版本

命令:mysql -V

2.10、报错解决

mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file: No such file or directory

解决方法:

安装libncurses相关依赖

yum install libncurses*

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_d3_06

2.11 目录授权

chown -R mysql.mysql /application/*chown -R mysql.mysql /data

三、实例初始化

3.1 在各主机上创建Mysql数据目录

===================db01=======================
mkdir /data/3307/data -pmkdir /data/3308/data -pmkdir /data/3309/data -pmkdir /data/3310/data -p
===================db02=======================
mkdir /data/3307/data -pmkdir /data/3308/data -pmkdir /data/3309/data -pmkdir /data/3310/data -p
3.2 在各主机上初始化Mysql数据
===================db01=======================
mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3307/datamysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3308/datamysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3309/datamysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3310/data
===================db02=======================
mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3307/datamysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3308/datamysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3309/datamysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/3310/data
3.3 准备各主机上各节点数据库配置文件以及启动脚本
=================================DB01===================================
配置文件准备-3307:
cat >/data/3307/my.cnf <
配置文件准备-3308:
cat >/data/3308/my.cnf <
配置文件准备-3309:
cat >/data/3309/my.cnf <
配置文件准备-3310:
cat >/data/3310/my.cnf <
启动服务-3307
cat >/etc/systemd/system/mysqld3307.service<
启动服务-3308:
cat >/etc/systemd/system/mysqld3308.service<
启动服务-3309:
cat >/etc/systemd/system/mysqld3309.service<
启动服务-3310:
cat >/etc/systemd/system/mysqld3310.service<
=================================DB02===================================
配置文件准备-3307:
cat >/data/3307/my.cnf <
配置文件准备-3308:
cat >/data/3308/my.cnf <
配置文件准备-3309:
cat >/data/3309/my.cnf <
配置文件准备-3310:
cat >/data/3310/my.cnf <
启动服务-3307:
cat >/etc/systemd/system/mysqld3307.service<
启动服务-3308:
cat >/etc/systemd/system/mysqld3308.service<
启动服务-3309:
cat >/etc/systemd/system/mysqld3309.service<
启动服务-3310:
cat >/etc/systemd/system/mysqld3310.service<
3.4 重载systemctl服务(各主机均执行)
systemctl daemon-reloadsystemctl daemon-reexec
3.5 永久关掉SELINUX(各主机均执行)
需要修改 /etc/selinux/config 再重启操作系统
SELINUX=disabled
3.6  修改数据目录权限,启动多实例(各主机均执行)
chown -R mysql.mysql /data/*systemctl start mysqld3307systemctl start mysqld3308systemctl start mysqld3309systemctl start mysqld3310
3.7 查询实例server_id(各主机均执行)
mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

3.8 检查端口监听(各主机均执行)

ss -lntss -lnt |grep 33

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_配置文件_07

3.9 将Mysql各实例设置为自动启动(各主机均执行)

systemctl enable mysqld3307systemctl enable mysqld3308systemctl enable mysqld3309systemctl enable mysqld3310

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_配置文件_08

reboot操作系统可以验证。

四、出现问题后,查询问题的方法:

1、错误日志:/data/3307/mysql.log

2、systemctl status mysqld3307.service

3、journalctl -xe

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_mysql 双节点主从搭建_09

解决办法:永久关掉需要修改 /etc/selinux/config 再重启机器就好

SELINUX=disabled

节点主从规划

一、规划设计

箭头指向谁,谁就是主库

172.16.93.21:3307172.16.93.22:3307
172.16.93.21:3309————>172.16.93.21:3307
172.16.93.22:3309————>172.16.93.22:3307
172.16.93.22:3308172.16.93.21:3308
172.16.93.22:3310————>172.16.93.22:3308
172.16.93.21:3310      ————>  172.16.93.21:3308
分片规划
shard1:
Master:172.16.93.21:3307
Slave1:172.16.93.21:3309
Standby Master:172.16.93.22:3307
Slave2:172.16.93.22:3309
shard2:
Master:172.16.93.22:3308
Slave1:172.16.93.22:3310
Standby Master:172.16.93.21:3308
Slave2:172.16.93.21:3310

图示:

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_mysql_10

开始配置

Shard1_第一组四节点结构搭建(红色部分)
172.16.93.21:3307     172.16.93.22:3307
## db02(172.16.93.22)
mysql -S /data/3307/mysql.sock -e "grant replication slave on *.* to rep1@'%' identified by 'zone2018';"mysql -S /data/3307/mysql.sock -e "grant all on *.* to root@'%' identified by 'zone2018' with grant option;"
##db01(172.16.93.21)
mysql -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.22', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3307/mysql.sock -e "start slave;"mysql -S /data/3307/mysql.sock -e "show slave status \G"
##db02(172.16.93.22)
mysql -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.21', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3307/mysql.sock -e "start slave;"mysql -S /data/3307/mysql.sock -e "show slave status \G"
#172.16.93.21:3309      ————>  172.16.93.21:3307
##db01(172.16.93.21)
mysql -S /data/3309/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.21', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3309/mysql.sock -e "start slave;"mysql -S /data/3309/mysql.sock -e "show slave status \G"
#172.16.93.22:3309      ————>  172.16.93.22:3307
##db02(172.16.93.22)
mysql -S /data/3309/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.22', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3309/mysql.sock -e "start slave;"mysql -S /data/3309/mysql.sock -e "show slave status \G"
Shard2_第二组四节点结构搭建(蓝色部分)
#172.16.93.22:3308      172.16.93.21:3308
## db01(172.16.93.21)
mysql -S /data/3308/mysql.sock -e "grant replication slave on *.* to rep1@'%' identified by 'zone2018';"mysql -S /data/3308/mysql.sock -e "grant all on *.* to root@'%' identified by 'zone2018' with grant option;"
##db02(172.16.93.22)
mysql -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.21', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3308/mysql.sock -e "start slave;"mysql -S /data/3308/mysql.sock -e "show slave status \G"
##db01(172.16.93.21)
mysql -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.22', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3308/mysql.sock -e "start slave;"mysql -S /data/3308/mysql.sock -e "show slave status \G"
#172.16.93.22:3310      ————>  172.16.93.22:3308
##db02(172.16.93.22)
mysql -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.22', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3310/mysql.sock -e "start slave;"mysql -S /data/3310/mysql.sock -e "show slave status \G"
#172.16.93.21:3310      ————>  172.16.93.21:3308
##db01(172.16.93.21)
mysql -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='172.16.93.21', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='rep1', MASTER_PASSWORD='zone2018';"mysql -S /data/3310/mysql.sock -e "start slave;"mysql -S /data/3310/mysql.sock -e "show slave status \G"
检测主从状态
mysql -S /data/3307/mysql.sock -e "show slave status\G" | grep Yesmysql -S /data/3308/mysql.sock -e "show slave status\G" | grep Yesmysql -S /data/3309/mysql.sock -e "show slave status\G" | grep Yesmysql -S /data/3310/mysql.sock -e "show slave status\G" | grep Yes

mysql keepalived 双主停止后 虚拟Ip无法飘到另外一台主机_mysql_11

二、问题处理:

如果中间出现错误,在每个节点执行以下命令可以清除主从结构配置,重新配置即可:

停止主从复制并删除主从关联

mysql -S /data/3307/mysql.sock -e "stop slave; reset slave all;"mysql -S /data/3308/mysql.sock -e "stop slave; reset slave all;"mysql -S /data/3309/mysql.sock -e "stop slave; reset slave all;"mysql -S /data/3310/mysql.sock -e "stop slave; reset slave all;"
删除并重新创建数据库
mysql -S /data/3307/mysql.sock -e "DROP DATABASE X; CREATE DATABASE X DEFAULT CHARACTER SET utf8mb4;"mysql -S /data/3308/mysql.sock -e "DROP DATABASE X; CREATE DATABASE X DEFAULT CHARACTER SET utf8mb4;"mysql -S /data/3309/mysql.sock -e "DROP DATABASE X; CREATE DATABASE X DEFAULT CHARACTER SET utf8mb4;"mysql -S /data/3310/mysql.sock -e "DROP DATABASE X; CREATE DATABASE X DEFAULT CHARACTER SET utf8mb4;"
查看数据库命令:
mysql -S /data/3307/mysql.sock -e "SHOW DATABASES;"mysql -S /data/3308/mysql.sock -e "SHOW DATABASES;"mysql -S /data/3309/mysql.sock -e "SHOW DATABASES;"mysql -S /data/3310/mysql.sock -e "SHOW DATABASES;"

杀进程停止数据库命令:

pkill mysql#使用sock直接连接数据库直接命令:mysql -S /data/3307/mysql.sockCREATE DATABASE X DEFAULT CHARACTER SET utf8mb4