MHA简介：

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

环境准备：

  • 操作系统：CentOS Linux release 7.7.1908 (Core)
  • manager：10.0.0.41
  • slave1：10.0.0.42
  • slave2：10.0.0.43
  • mha： 10.0.0.44

时间同步：
#三台都要执行

echo "*/5* * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1" >>/var/spool/cron/root

更改主机名：

[root@c7-41 ~]# hostname master
[root@c7-42 ~]# hostname slave1
[root@ c7-43 ~]# hostname slave2
[root@c7-44 ~]# hostname mha

host解析
#同样三台都要操作

cat >>/etc/hosts<<EOF
master 10.0.0.41
slave1 10.0.0.42
slave2 10.0.0.43
mha   10.0.0.44
EOF

互相配置ssh免密登录
#注意：是互相，并且最好不要禁掉密码登录，如果禁了，可能会有问题。

#!/bin/bash
yum -y install sshpass &> /dev/null
read -p "请输入服务器密码：" passwd
UserName=root
IP="10.0.0."
#创建密钥
ssh-keygen -t dsa -f ~/.ssh/id_dsa -P "" &>/dev/null
#分发公钥
for i in 41 42 43 44   #这里的要改成自己机子的ip
do
	sshpass -p "$passwd" ssh-copy-id -i ~/.ssh/id_dsa.pub -p 22 -o StrictHostKeyChecking=no $UserName@$IP$i &>/dev/null
done

一. mysql主从配置

1.1 安装yum repo

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum -y install mysql-server
#注意：在新版本的CentOS7中，默认的数据库已更新为了mariadb，而非mysql，所以执行yum -y install mysql命令只是更新mariadb数据库，并不会安装mysql。

1.2 启动mysql

systemctl start mysql

修改密码

mysql
update mysql.user set password=password('123456') where user='root' and host='localhost';
flush privileges;

1.3配置主从
#master服务器操作

[root@master ~]# vim /etc/my.cnf

server-id=1
log-bin=mysql-bin
#禁止mysql自动删除relaylog功能
relay_log_purge = 0
#mysql5.6已上的特性，开启gtid，必须主从全开
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates = 1
#禁用dns解析
skip-name-resolve

#重启mysql

[root@master ~]# systemctl restart mysql

#创建同步的用户

[root@master ~]# mysql -uroot -p123456

mysql> grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';
mysql> flush privileges;

#查看mysql主库的master状态

mysql> show master status;

mysql 高可用性 mysqlmha高可用_服务器


#查看GTID状态

mysql> show global variables like '%gtid%';

mysql 高可用性 mysqlmha高可用_mysql 高可用性_02


#slave1服务器操作

vim /etc/my/cnf

[mysqld]
server-id=2
log-bin=mysql-bin
#禁止mysql自动删除relaylog工能
relay_log_purge = 0
#mysql5.6已上的特性，开启gtid，必须主从全开
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates = 1
skip-name-resolve

#重启mysql

[root@slave1 ~]# systemctl restart mysql

#创建同步用户

[root@slave1 ~]# mysql -uroot -p123456
mysql> grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';

#配置从服务器指向master

mysql> change master to master_host='10.0.0.41',master_user='rep',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=530;
mysql> flush privileges;

#开启从服务器的复制功能

mysql> start slave;

#检查从服务器的复制功能状态

mysql> show slave status \G;

mysql 高可用性 mysqlmha高可用_mysql_03


#slave2服务器操作

[root@slave2 ~]# vim /etc/my.cnf

[mysqld]
server-id=3
log-bin=mysql-bin
#禁止mysql自动删除relaylog功能
relay_log_purge = 0
#mysql5.6已上的特性，开启gtid，必须主从全开
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates = 1
skip-name-resolve

#重启mysql

[root@slave2 ~]# systemctl restart mysql

#创建同步用户

[root@slave2 ~]# mysql -uroot -p123456
mysql> grant replication slave on *.* to 'rep'@'10.0.0.%' identified by '123456';

#配置从服务器指向master

mysql> change master to master_host='10.0.0.41',master_user='rep',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=530;
mysql> flush privileges;

#开启从服务器的复制功能

mysql> start slave;

#检查从服务器的复制功能状态

mysql> show slave status \G;

mysql 高可用性 mysqlmha高可用_mysql 高可用性_04

二.安装MHA

#所有节点操作
2.1 安装安装依赖

yum -y install perl-DBD-mysql
yum -y install perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes

2.2 授权MHA管理用户

mysql -uroot -p123456
grant all privileges on *.* to 'mha'@'10.0.0.%' identified by 'mha';
flush privileges;

2.3 上传安装MHA node节点

mysql 高可用性 mysqlmha高可用_服务器_05

rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm

2.4 安装MHA管理节点
#注意：MHA管理节点不要安装到mysql主库和切换的从库上（备用的主库），否则会在后面出现vip无法漂移的情况。

[root@mha ~]# rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm

2.5 配置MHA

[root@mha ~]# mkdir -p /etc/mha
[root@mha ~]# mkdir -p /var/log/mha/app1
[root@mha ~]# cat >>/etc/mha/app1.cnf<<\EOF

[server default]
manager_log=/var/log/mha/app1/manager.log
manager_workdir=/var/log/mha/app1
master_binlog_dir=/var/lib/mysql  #binlog的目录，如果说mysql的环境不一样，binlog位置不同，每台服务器的binlog的位置写在server标签里即可
user=mha
password=mha
ping_interval=2
repl_password=123456
repl_user=rep
ssh_user=root

[server1]
hostname=10.0.0.41
port=3306

[server2]
hostname=10.0.0.42
port=3306

[server3]
hostname=10.0.0.43
port=3306
ignore_fail=1  #如果这个节点挂了，mha将不可用，加上这个参数，slave挂了一样可以用
no_master=1  #从不将这台主机转换为master
EOF

#还有另外两个参数：
candidate_master=1  #如果候选master有延迟的话，relay日志超过100m，failover切换不能成功，加上此参数后会忽略日志大小。
check_repl_dekay=0  #用防止master故障时，切换slave有延迟，卡在那切不过来

#注意：以上配置文件内容，每行的后面最好不要留有空格和注释
2.6 启动测试
#ssh检查检测

[root@mha ~]# masterha_check_ssh --conf=/etc/mha/app1.cnf

mysql 高可用性 mysqlmha高可用_perl_06


#以下是ssh没有互相配置免密登录

mysql 高可用性 mysqlmha高可用_服务器_07


#主从复制检测

[root@mha ~]# masterha_check_repl --conf=/etc/mha/app1.cnf

mysql 高可用性 mysqlmha高可用_mysql_08


#如果有以下报错：

mysql 高可用性 mysqlmha高可用_perl_09


需要在所有的mysql配置文件中添加：

skip-name-resolve

2.7 启动MHA

[root@mha ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

#查看MHA状态

[root@mha ~]# masterha_check_status --conf=/etc/mha/app1.cnf

mysql 高可用性 mysqlmha高可用_服务器_10


2.8 测试MHA故障转移

#停掉master主库的mysql

[root@master ~]# systemctl stop mysqld.service

#查看slave2的slave状态。发现Master_Host变成了10.0.0.42

[root@ slave2 ~]# mysql -uroot -p123456 -e 'show slave status \G;'

mysql 高可用性 mysqlmha高可用_服务器_11


#查看slave1的master状态

[root@slave1 ~]# mysql -uroot -p123456 -e 'show master status;'

mysql 高可用性 mysqlmha高可用_perl_12


#查看slave2的MHA配置文件

[root@ slave2 ~]# cat /etc/mha/app1.cnf

mysql 高可用性 mysqlmha高可用_mysql_13


发生故障时，MHA做了什么？

  1. 当作为主库的master上的mysql宕机后，MHA通过检测发现master的mysql宕机了，那么会将binlog日志最全的从库（slave1）立即提升为主库，而其他的从库会指向新的主库进行再次同步。
  2. MHA会自己结束自己的进程，还会将/etc/mha/app1.cnf配置文件中，坏掉的那台机器剔除。

三.配置vip漂移

3.1ip漂移的两种方式

  1. 通过keepalived的方式，管理虚拟ip的漂移。
  2. 通过MHA自带脚本的方式，管理虚拟ip的漂移 #用mha自带的一个vip漂移的脚本，哪个提升为主，就飘到那个上面，要根据binlog最新的slave提升。

3.2MHA脚本方式

[root@mha ~]# vim /etc/mha/app1.cnf

manager_log=/var/log/mha/app1/manager.log

mysql 高可用性 mysqlmha高可用_mysql 高可用性_14


编写漂移脚本 master_ip_falover

注意：修改脚本中的网卡名和ip地址。

[root@mha ~]# cat /usr/bin/master_ip_failover
#!/usr/bin/env perl

use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
    $command,          $ssh_user,        	$orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);

my $vip = '10.0.0.49/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";

GetOptions(
   'command=s'          => \$command,
   'ssh_user=s'         => \$ssh_user,
   'orig_master_host=s' => \$orig_master_host,
   'orig_master_ip=s'   => \$orig_master_ip,
  'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
   'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

    my $exit_code = 1;
    eval {
        print "Disabling the VIP on old master: $orig_master_host \n";
        &stop_vip();
        $exit_code = 0;
    };
    if ($@) {
        warn "Got Error: $@\n";
        exit $exit_code;
    }
    exit $exit_code;
}
elsif ( $command eq "start" ) {

    my $exit_code = 10;
    eval {
        print "Enabling the VIP - $vip on the new master - $new_master_host \n";
        &start_vip();
        $exit_code = 0;
    };
    if ($@) {
        warn $@;
        exit $exit_code;
    }
    exit $exit_code;
}
elsif ( $command eq "status" ) {
    print "Checking the Status of the script.. OK \n";
    exit 0;
}
else {
    &usage();
    exit 1;
}
}

sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
sub stop_vip() {
     return 0  unless  ($ssh_user);
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

3.3 手动绑定vip

[root@master ~]# ifconfig ens33:1 10.0.0.49/24
[root@master ~]# ip a show ens33

mysql 高可用性 mysqlmha高可用_mysql 高可用性_15


3.4 重启MHA

[root@mha ~]# masterha_stop --conf=/etc/mha/app1.cnf
[root@mha ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

3.5模拟主机宕机vip漂移
#关闭master的主库mysql

[root@master ~]# systemctl stop mysql
[root@master ~]# ip a show ens33

mysql 高可用性 mysqlmha高可用_mysql 高可用性_16


#现在查看slave1上的mysql状态和vip

[root@slave1 ~]# ip a show ens33

mysql 高可用性 mysqlmha高可用_mysql 高可用性_17

四.3. Mysq|之Atlas(读写分离)

注意：
1、Atlas只能安装运行在64位的系统上
2、Centos 5.X安装Atlas-XX.el5.x86_ _64.rpm , Centos 6.X安装Atlas-XX.el6.x86_ _64.rpm(经过测试centos7也可以使用6的版本）
注意:
3、后端mysq|版本应大于5.1 ,建议使用Mysql 5.6以上

4.1Atlas的安装过程

1.安装Atlas
[root@mha ~]# wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.e16.x86_64.rpm
[root@mha ~]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm

2.修改配置文件
[root@mha ~]# cp /usr/local/mysql-proxy/conf/test.cnf{,.bak}
[root@mha ~]# vim /usr/local/mysql-proxy/conf/test.cnf

[mysql-proxy]
admin-username = user
admin-password = pwd
proxy-backend-addresses = 10.0.0.49:3306
proxy-read-only-backend-addresses = 10.0.0.42:3306,10.0.0.43:3306
pwds = rep:/iZxz+0GRoA=,mha:O2jBXONX098=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
sql-log =ON
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345
charset = utf8

mysql 高可用性 mysqlmha高可用_mysql 高可用性_18


3.启动Atlas

[root@mha ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test start   #启动
[root@mha ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test stop  #停止
[root@mha ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test restart  #重启

4.查看Atlas

[root@mha ~]# ps -ef |grep mysql-proxy

mysql 高可用性 mysqlmha高可用_服务器_19


5.Atlas读写分离测试

读测试：

[root@mha ~]# mysql -umha -pmha -P123456 -h10.0.0.44

mysql> select @@server_id;

mysql 高可用性 mysqlmha高可用_mysql 高可用性_20


注：发现上面server_id每次的结果都不一样，分别是2台从库的server_id,并且每执行一次命令，server_id就会变换一次，这是因为默认读操作的权重都是1，两台从DB默认就是负载均衡。

写测试：

mysql> begin;select @@server_id;commit;

mysql 高可用性 mysqlmha高可用_mysql 高可用性_21


mysql 高可用性 mysqlmha高可用_mysql_22

五.Atlas管理操作

登录管理接口

[root@mha ~]# mysql -uuser -ppwd -P2345 -h10.0.0.44

查看帮助信息

mysql> select * from help;

mysql 高可用性 mysqlmha高可用_perl_23


查看后端的代理库

select * from backends;

mysql 高可用性 mysqlmha高可用_服务器_24


下线后端节点

mysql> set offline 3;

mysql 高可用性 mysqlmha高可用_mysql 高可用性_25


上线后端节点

mysql> set online 3;

mysql 高可用性 mysqlmha高可用_mysql_26

六 MHA故障还原

1.先将宕机mysql修复，然后加入到mysql一主两从集群

[root@mha ~]# grep "CHANGE MASTER TO MASTER" /var/log/mha/app1/manager.log |tail -1

Sat May 23 10:46:09 2020 - [info]  All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='10.0.0.42', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='xxx';

[root@master ~]# systemctl restart mysql
[root@master ~]# mysql -uroot -p123456 -e "CHANGE MASTER TO MASTER_HOST='10.0.0.42', MASTER_PORT=3306,MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='123456';"
[root@master ~]# mysql -uroot -p123456 -e "start slave;"
[root@master ~]# mysql -uroot -p123456 -e "show slave status \G;"

mysql 高可用性 mysqlmha高可用_mysql 高可用性_27


2.重新在将[server1]标签添加到MHA配置文件，并且启动MHA。

[root@mha ~]# sed -i -e '/server2/i \
[server1] \
hostname=10.0.0.41 \
port=3306 \
' ’ /etc/mha/app1.cnf

3.重新启动MHA

[root@mha ~]#  nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &