前情提要:
ps:以上为本次操作的主要参考资料,非常感谢此文作者的贡献,我的随笔的主要目的是
说明在使用以上资料参考部署的过程中,遇到的一些问题以及补充。
目的:
1、解决web读写分离功能缺陷,实现数据库从库负载均衡与高可用
2、简化web与主要功能模块的配置,使用vip接管
实验环境:
#目前主流的版本应该在6.4以上,主要是硬件要求
#这个没什么可说的,选择版本主要看应用需求
#部署lvs+keepalived,用于管理VIP,并分发数据库读写请求
#mysql_slave 一主两从
#用于测试整套架构的功能
#虚拟IP,用于请求的分发
一、环境安装配置
数据库mysql5.6安装(20.182、20.183)
rpm -ivh
MySQL-server-5.6.16-1.el6.x86_64.rpm
MySQL-devel-5.6.16-1.el6.x86_64.rpm
MySQL-shared-5.6.16-1.el6.x86_64.rpm
MySQL-client-5.6.16-1.el6.x86_64.rpm
MySQL-shared-compat-5.6.16-1.el6.x86_64.rpm
mysql5.6的安全性有所提高,安装完成后会有如下提示:
You will find that password in '/root/.mysql_secret'
cat /root/.mysql_secret
# The random password set for the root user at Mon Aug 31 08:28:44 2015 (local time): 06tIwUud
通过密码进入mysql之后:通过:SET PASSWORD = password('xxxxxx');
数据库主从搭建(略)
恩......不是我偷懒,主要是网上这块的内容太多了,一抓一大把,没有什么可写的价值,之后如果有兴趣可能单开一个随笔,这就不写了。
大家随意的搜一下。
网络环境配置(所有机器)
由于我的生产环境有单独的思科防火墙,所以我所有的服务器的系统防火墙都是关闭的,包括selinux,不然太麻烦。
有些莫名其妙的报错可能都是iptable和selinux引起的,为了方便一般默认关闭
1、关闭selinux:
修改/etc/selinux/config文件中的SELINUX="" 为 disabled ,然后重启。
如果不想重启系统,使用命令setenforce 0
2、关闭iptables:
service iptables stop
chkconfig iptables off
二、LVS+keepalive主机搭建(192.168.1.180)
为了简化步骤,这里不做管理机器的高可用配置,
1、安装LVS
yum install ipvsadm
modprobe ip_vs
执行ipvsadm
2、安装keepalived
yum install gcc gcc-c++ make openssl-devel kernel-devel ncurses-devel
下载keeplived:http://www.keepalived.org/download.html
cd /usr/local/src
wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz
ps:由于安装时间的不同,我新的生产环境是centos6.5 而测试环境是redhat6.4,并且我的生产之前一直都是redhat系列,一直使用的都是手动rpm以及编译安装,虽然很苦逼,但是着实锻炼动手能力以及一些说不清道不明的对系统的理解能力,并且yum本身并不是非常的安全,没有手动安装那么放心(俺的感受),我的建议是如果非用不可的话,安装可以用yum,但是卸载需要手动,这是我的底线。
tar -zxvf keepalived-1.2.19.tar.gz
cd keepalived-1.2.19
./configure #配置,必须看到以下提示,说明配置正确,才能继续安装
Use IPVS Framework : Yes
IPVS sync daemon support : Yes
Use VRRP Framework : Yes
make #编辑
make install
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/keepalived
chkconfig keepalived on
service keepalived start #启动
service keepalived stop #关闭
service keepalived restart #重启
ps:以上直接辅助的原作者的命令,主要是没什么可写的,按照命令操作即可。
ps2:参考资料在这会安装perl的相关环境,因为他的从库状态监测脚本需要用到,但是我并没有在这添加,主要考虑到如下的情况
1、我有单独的数据库从库状态监测告警脚本(见上两篇原创随笔)
2、keeplived本身有对3306端口的检测,如果数据库出现异常可以发现并处理。
3、我希望即便从库同步出现问题,也能够继续提供服务,因为线上环境需要的是服务畅通,短暂不同步的代价我是能够接受的。
3、配置keepalived
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf-bak
>/etc/keepalived/keepalived.conf #清空配置文件
vi /etc/keepalived/keepalived.conf #以下内容直接全部粘贴即可
======================================
! Configuration File for keepalived
global_defs {
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.20.253
}
}
virtual_server 192.168.20.253 3306 {
delay_loop 6
lb_algo wlc
lb_kind DR
#persistence_timeout 120
protocol TCP
real_server 192.168.20.182 3306 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 3306
}
}
real_server 192.168.20.183 3306 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 3306
}
}
}
==============================================
#wp #保存退出
注:最好在使用以上内容前,复制到编辑器,检查括号是否齐全与匹配,这很重要。
三、数据库从库配置(192.168.20.182、183)
1、绑定LVS虚拟服务器(VIP):192.168.20.253到lo:0
#编辑增加如下代码:
vi /etc/rc.d/init.d/realserver
==================================================
#!/bin/sh
# chkconfig: - 80 90
# description:realserver
# mysql_vip start realserver
mysql_vip=192.168.20.253
. /etc/rc.d/init.d/functions
case "$1" in
start)
ifconfig lo:0 $mysql_vip netmask 255.255.255.255 broadcast $mysql_vip
/sbin/route add -host $mysql_vip dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $mysql_vip >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
==========================================================
chmod +x /etc/rc.d/init.d/realserver
chkconfig realserver on
/etc/rc.d/init.d/realserver start
2、配置允许ARP转发
vi /etc/sysctl.conf
============================
net.ipv4.ip_forward = 1 #修改原有配置
# MYSQL-VIP-NewAdd #此为新增配置
net.ipv4.conf.lo.arp_ignore= 1
net.ipv4.conf.lo.arp_announce= 2
net.ipv4.conf.all.arp_ignore= 1
net.ipv4.conf.all.arp_announce= 2
============================
/sbin/sysctl -p
四、负载均衡功能测试
1、LVS主机(20.180)执行:
service keepalived start
ipvsadm -Ln #检查lvs运行状态
2、数据库从库(20.182、20.183)
/etc/rc.d/init.d/realserver start
VIP已经绑定到lo:0
3、负载均衡功能测试
20.182:执行service mysql stop
在20.180(LVS主机)上执行
ipvsadm -Ln
可以看到20.182服务器已经被去掉。同理再次启动之后此服务器会被再次加入服务。
4、VIP数据库功能测试
在测试服务器(1.181)上执行数据库连接命令
mysql -uroot -pXXXXXX -h192.168.20.253
telnet 192.168.20.253 3306
FAQ:
1、能够ping通,但是telnet不通,不知道是为什么?
答:网上看到很多人,包括我自己,都遇到了这个问题,VIP能够ping通,但是telnet以及mysql连接命令不通,怎么着也找不到问题。
这个问题困扰了我很长时间,中间试验停止了两个月,因为实在找不到原因,但是后来实在是啼笑皆非,原因竟然是:没有使用测试机,
我所有的测试命令都是在LVS主机上执行的,而LVS主机上绑定了VIP,并且没有mysql服务,肯定能ping通,但是在没有转发请求的
情况下,肯定服务不通。
2、原资料中的一些命令的困扰?
答:比如ipvsadm -L 在我的服务器上是不显示具体IP的,只显示localhost,一度让我以为服务不通跟这个有联系,但实际上执行ipvsadm -Ln就ok了。
3、数据库从库状态检测脚本是否使用?
答:我觉得这个应该根据具体的业务系统的需求去考虑,我的系统要求的是能够持续提供服务,对数据一致性的要求没有那么高,所以我只需要对同步状态进行
告警,并保证能及时处理即可,并不需要停止服务这么严苛。另外脚本使用perl或者shell实际上应该没有什么不同。
ok!整个方案就这样了,中间省略了一些步骤,比如数据库主从服务的搭建,LVS高可用的搭建,这两个服务我在很久之前就搭建了无数次,实在是懒得再写,并且这种单独的服务在网上已经有了无数个攻略,写的价值不是很大,大家各种研究下吧。
另外水平有限,如果有所遗漏和错误请大家指出,我及时修改,如果有更完善的方案,大家能分享就更好了。