高可用PXC

原创

Darren_Chen 2017-05-19 14:54:31 博主文章分类：MySQL ©著作权

文章标签 高可用 PXC 文章分类 集群服务器

©著作权归作者所有：来自51CTO博客作者Darren_Chen的原创作品，请联系作者获取转载授权，否则将追究法律责任

1.Percona XtraDB Cluster的搭建

安装环境：

节点1：A： 192.168.91.18

节点2：B：192.168.91.20

节点3：C：192.168.91.21

innodb引擎层实现的复制

ABC server_id要不一样

ABＣ：

下载软件：

wget http://www.percona.com/downloads/Percona-XtraDB-Cluster-56/Percona-XtraDB-Cluster-5.6.21 -25.8/binary/tarball/Percona-XtraDB-Cluster-5.6.21-rel70.1-25.8.938.Linux.x86_64.tar.gz

安装依赖包：

yum install -y socat

yum install -y perl-DBD-MySQL.x86_64 perl-IO-Socket-SSL.noarch socat.x86_64 nc

（其中nc是一个强大的网络工具）

yum install -y http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm

#安装xtrabackup备份软件：

yum list |grep percona-xtrabackup

yum install -y percona-xtrabackup.x86_64

#rpm -qa |grep percona

percona-release-0.1-3.noarch

percona-xtrabackup-2.3.7-2.el6.x86_64

ABＣ：

解压PXC包：

tar xf Percona-XtraDB-Cluster-5.6.21-rel70.1-25.8.938.Linux.x86_64.tar.gz

软链接：

ln -s /home/tools/Percona-XtraDB-Cluster-5.6.21-rel70.1-25.8.938.Linux.x86_64 /usr/local/mysql

创建 mysql 的用户及组

groupadd mysql

useradd –g msyql –s /sbin/nologin –d /usr/local/mysql mysql

创建启动文件：

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

创建 mysql 需要的基本目录

mkdir -p /data/mysql3306/{data,logs,tmp}

chown -R mysql:mysql *

A 配置文件：

vim /etc/my.cnf

#pxc

default_storage_engine=Innodb

#innodb_locks_unsafe_for_binlog=1

innodb_autoinc_lock_mode=2

wsrep_cluster_name=pxc_cluster #集群名称

wsrep_cluster_address=gcomm://192.168.91.18,192.168.91.20,192.168.91.21

wsrep_node_address=192.168.91.18

wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so

#wsrep_provider_options="gcache.size = 1G;debug = yes"

wsrep_provider_options="gcache.size = 1G;"

#wsrep_sst_method=rsync

wsrep_sst_method=xtrabackup-v2

wsrep_sst_auth=sst:147258

B配置文件：

#pxc

default_storage_engine=Innodb

#innodb_locks_unsafe_for_binlog=1

innodb_autoinc_lock_mode=2

wsrep_cluster_name=pxc_cluster

wsrep_cluster_address=gcomm://192.168.91.18,192.168.91.20,192.168.91.21

wsrep_node_address=192.168.91.20

wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so

#wsrep_provider_options="gcache.size = 1G;debug = yes"

wsrep_provider_options="gcache.size = 1G;"

#wsrep_sst_method=rsync

wsrep_sst_method=xtrabackup-v2

wsrep_sst_auth=sst:147258

C配置文件：

#pxc

default_storage_engine=Innodb

#innodb_locks_unsafe_for_binlog=1

innodb_autoinc_lock_mode=2

wsrep_cluster_name=pxc_cluster

wsrep_cluster_address=gcomm://192.168.91.18,192.168.91.20,192.168.91.21

wsrep_node_address=192.168.91.21

wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so

#wsrep_provider_options="gcache.size = 1G;debug = yes"

wsrep_provider_options="gcache.size = 1G;"

#wsrep_sst_method=rsync

wsrep_sst_method=xtrabackup-v2

wsrep_sst_auth=sst:147258

ABＣ：

初始化：

[root@Darren1 mysql]# ./scripts/mysql_install_db

A：

第一个节点启动：

/etc/init.d/mysql bootstrap-pxc

Bootstrapping PXC (Percona XtraDB Cluster)Starting MySQL (Percona XtraDB Cluster)......... SUCCESS!

>mysql

delete from mysql.user where user!='root' or host!='localhost';

truncate mysql.db;

drop database test;

grant all on *.* to sst@localhost identified by '147258'; #创建用于xtrabackup的用户sst，密码要和my.cnf中对应

flush privileges;

BC：

启动节点二和节点三：

/etc/init.d/iptables stop

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config

[root@Darren2 data]# /etc/init.d/mysqld start

Starting MySQL (Percona XtraDB Cluster).........State transfer in progress, setting sleep higher

... SUCCESS!

[root@Darren3 data]# /etc/init.d/mysqld start

ERROR! MySQL (Percona XtraDB Cluster) is not running, but lock file (/var/lock/subsys/mysql) exists

Starting MySQL (Percona XtraDB Cluster)..................State transfer in progress, setting sleep higher

... SUCCESS!

测试：

A：

root@localhost [testdb]> create database testdb;

root@localhost [testdb]>create table t1(c1 int auto_increment not null,c2 timestamp,primary key(c1));

root@localhost [testdb]>insert into t1 select 1,now();

root@localhost [testdb]>select * from testdb.t1;

+----+---------------------+

| c1 | c2 |

+----+---------------------+

| 1 | 2017-03-06 12:29:56 |

+----+---------------------+

B：

root@localhost [testdb]>select * from testdb.t1;

+----+---------------------+

| c1 | c2 |

+----+---------------------+

| 1 | 2017-03-06 12:29:56 |

+----+---------------------+

C：

root@localhost [testdb]>select * from testdb.t1;

+----+---------------------+

| c1 | c2 |

+----+---------------------+

| 1 | 2017-03-06 12:29:56 |

+----+---------------------+

关闭方式：

关闭：/etc/init.d/mysql stop

全部节点关闭后重启:

第一个节点启动的节点:/etc/init.d/mysql bootstrap-pxc

其它节点/etc/init.d/mysql start

SST和IST

State Snapshot Transfer(SST) 全量传输

发生在：新节点的加入，或者集群中节点故障（关闭）时间过长

wsrep_sst_method = xtrabackup-v2

这个参数有三个值：

（1）xtrabackup-v2

使用xtrabackup传输，需要提前创建用于备份的用户并制定参数用户名和密码：wsrep_sst_auth=sst:147258

（2）rsync：最快的传输方式，不需要指定wsrep_sst_auth参数，拷贝数据的时候read-only（flush table with read lock）

（3）mysqldump：不建议使用，数据量大的时候不行，拷贝数据的时候read-only（flush table with read lock）

Incremental state Transfer(IST) 增量传输

发生在：一个节点数据的改变，把增量的部分拷贝到另几个节点，通过一个缓存gcache控制，如果增量大于gcache会选择全量传输，再有在增量小于等于gcache时候，才会选择增量传输。

wsrep_provider_options="gcache.size = 1G"

如果去停止PXC其中的一个节点？

当 wsrep_local_state_comment 的状态是 Synced 表示三个节点之间数据同步，这样才能去停止其中一个的服务，滚动重启；

每个节点能够离线多长时间计算？

比如说想离线2h，算一下2个小时能够生成多大的binlog，对应的gcache.size就设置多大。

如一个比较繁忙的订单系统，5分钟产生200M的binog,则一个小时产生2.4G，两个小时4.8G，那么wsrep_provider_options="gcache.size = 6G"，gcache是需要实际内存分配的，也不能设置太大，否则会出现oom-kill；

故障恢复后，加入集群的过程分析：

（1）如果数据量不是很大，重新初始化，搞一次SST；

（2）如果数据量很大，用rsync传输；

PXC的特点及注意事项：

（1）PCX每个节点都自动配置了自增初始值和步长,跟双主一样，这样是为了防止主键冲突；

node1:

auto_increment_offset=1

auto_incremnet_increment=3

node2:

auto_increment_offset=2

auto_incremnet_increment=3

node3:

auto_increment_offset=3

auto_incremnet_increment=3

（2）PCX集群是乐观控制，事物冲突情况可能发生在commit阶段，当多个节点修改同一行数据，只有其中一个节点能够成功，失败的节点将终止，并且返回死锁错误代码：

如：

root@localhost [testdb]>begin;

root@localhost [testdb]>update t1 set c2=now() where c1=3;

root@localhost [testdb]>begin;

root@localhost [testdb]>update t1 set c2=now() where c1=3;

root@localhost [testdb]>commit;

出现报错deadlock：

root@localhost [testdb]>commit;

ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

（3）PXC只支持innodb引擎，mysql库下的表基本上都是myisam表怎么传输呢，PXC虽然不支持myisam表，但是支持DCL语句，如create user,drop user,grant,revoke等，可以通过开启参数wsrep_replicate_myisam,使pxc支持myisam表，因此当PXC出现数据不一致的时候，首先要查看是否是myisam表；

如：

node1：

root@localhost [testdb]>show create table t2\G

*************************** 1. row ***************************

Table: t2

Create Table: CREATE TABLE `t2` (

`c1` int(11) NOT NULL AUTO_INCREMENT,

`c2` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,

PRIMARY KEY (`c1`)

) ENGINE=MyISAM AUTO_INCREMENT=3 DEFAULT CHARSET=utf8

root@localhost [testdb]>select * from t2;

+----+---------------------+

| c1 | c2 |

+----+---------------------+

| 2 | 2017-03-08 11:41:31 |

+----+---------------------+

在node2和node3节点上面都看不到，因为没有传送过来。

（4）PXC每个表必须要有主键，如果没有主键，可能造成集群中每个节点的data page里的数据不一样，select limit 可能在不同的节点产生不同的结果集；

（5）不支持表级锁（lock table），所有的DDL操作都是实例级别的锁，需要用pt-osc工具

如：

例1：

node1:

root@localhost [testdb]>lock table t1 read;

root@localhost [testdb]>insert into t1 select 69,now();

ERROR 1099 (HY000): Table 't1' was locked with a READ lock and can't be updated

node2:节点2仍然可以插入，说明read lock没有生效

root@localhost [testdb]>insert into t1 select 69,now();

Query OK, 1 row affected (0.01 sec)

Records: 1 Duplicates: 0 Warnings: 0

例2：

node1:

root@localhost [testdb]>lock table t1 write;

root@localhost [testdb]>insert into t1 select 1,now();

Query OK, 1 row affected (0.03 sec)

Records: 1 Duplicates: 0 Warnings: 0

root@localhost [testdb]>select * from t1;

+----+---------------------+

| c1 | c2 |

+----+---------------------+

| 1 | 2017-03-08 14:59:46 |

+----+---------------------+

node2: 节点二没有受写锁影响，可以读写：

root@localhost [testdb]>insert into t1 select 2,now();

Query OK, 1 row affected (0.05 sec)

Records: 1 Duplicates: 0 Warnings: 0

root@localhost [testdb]>select * from t1;

+----+---------------------+

| c1 | c2 |

+----+---------------------+

| 1 | 2017-03-08 14:59:46 |

| 2 | 2017-03-08 14:59:57 |

+----+---------------------+

（6）不支持XA 事物

（7）query log日志存放在文件中，不能放在表里，即需要指定参数log_output=file；

（8）整个集群的性能/吞吐量由性能最差的节点决定，木桶效应；

不考虑延迟的主从复制：每秒6万insert,

考虑到延迟的主从复制：每秒3万insert,

pxc：每秒1万insert

（9）节点数量是3<=num<=8

（10）脑裂，所以至少需要三个节点，有个仲裁节点，防止脑裂；

演示脑裂：

强制干掉mysql进程：

node2:

[root@Darren1 mysql3306]# kill -9 10014

node3:

[root@Darren3 ~]# kill -9 10115

node1:

root@localhost [(none)]>use testdb;

ERROR 1047 (08S01): Unknown command

脑裂前的值：

show global status like '%wsrep%';

wsrep_local_state_comment | Synced

wsrep_cluster_status | Primary

wsrep_ready | ON

脑裂后的值：

wsrep_local_state_comment | Initialized

wsrep_cluster_status | non-Primary

wsrep_ready | OFF

重启node2或者node3会报错：

[root@Darren1 data]# /etc/init.d/mysqld start

ERROR! MySQL (Percona XtraDB Cluster) is not running, but PID file exists

解决方法：重启node1，然后再重启node2和node3

上一篇：MHA

下一篇：ProxySQL

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯