前情提要:

ps:以上为本次操作的主要参考资料,非常感谢此文作者的贡献,我的随笔的主要目的是

说明在使用以上资料参考部署的过程中,遇到的一些问题以及补充。

目的:

  1、解决web读写分离功能缺陷,实现数据库从库负载均衡与高可用

  2、简化web与主要功能模块的配置,使用vip接管

实验环境:

#目前主流的版本应该在6.4以上,主要是硬件要求

#这个没什么可说的,选择版本主要看应用需求

#部署lvs+keepalived,用于管理VIP,并分发数据库读写请求

#mysql_slave 一主两从

#用于测试整套架构的功能

#虚拟IP,用于请求的分发

一、环境安装配置  

数据库mysql5.6安装(20.182、20.183)

rpm -ivh

MySQL-server-5.6.16-1.el6.x86_64.rpm

MySQL-devel-5.6.16-1.el6.x86_64.rpm

MySQL-shared-5.6.16-1.el6.x86_64.rpm

MySQL-client-5.6.16-1.el6.x86_64.rpm

MySQL-shared-compat-5.6.16-1.el6.x86_64.rpm

 

mysql5.6的安全性有所提高,安装完成后会有如下提示:

You will find that password in '/root/.mysql_secret'

cat /root/.mysql_secret

# The random password set for the root user at Mon Aug 31 08:28:44 2015 (local time): 06tIwUud

通过密码进入mysql之后:通过:SET PASSWORD = password('xxxxxx');

 

数据库主从搭建(略)

  恩......不是我偷懒,主要是网上这块的内容太多了,一抓一大把,没有什么可写的价值,之后如果有兴趣可能单开一个随笔,这就不写了。

      大家随意的搜一下。

 

网络环境配置(所有机器)

  由于我的生产环境有单独的思科防火墙,所以我所有的服务器的系统防火墙都是关闭的,包括selinux,不然太麻烦。

有些莫名其妙的报错可能都是iptable和selinux引起的,为了方便一般默认关闭

1、关闭selinux:

   修改/etc/selinux/config文件中的SELINUX="" 为 disabled ,然后重启。
   如果不想重启系统,使用命令setenforce 0

2、关闭iptables:

  service iptables stop

  chkconfig iptables off

 

二、LVS+keepalive主机搭建(192.168.1.180)

为了简化步骤,这里不做管理机器的高可用配置,

 

 1、安装LVS

yum install ipvsadm

modprobe ip_vs

执行ipvsadm

 

2、安装keepalived

yum install  gcc gcc-c++ make openssl-devel kernel-devel ncurses-devel

下载keeplived:http://www.keepalived.org/download.html

cd /usr/local/src

wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz

ps:由于安装时间的不同,我新的生产环境是centos6.5  而测试环境是redhat6.4,并且我的生产之前一直都是redhat系列,一直使用的都是手动rpm以及编译安装,虽然很苦逼,但是着实锻炼动手能力以及一些说不清道不明的对系统的理解能力,并且yum本身并不是非常的安全,没有手动安装那么放心(俺的感受),我的建议是如果非用不可的话,安装可以用yum,但是卸载需要手动,这是我的底线。

 

tar -zxvf keepalived-1.2.19.tar.gz

cd keepalived-1.2.19

./configure  #配置,必须看到以下提示,说明配置正确,才能继续安装

Use IPVS Framework : Yes

IPVS sync daemon support : Yes

Use VRRP Framework       : Yes

make #编辑

make install 

cp /usr/local/etc/sysconfig/keepalived  /etc/sysconfig/

mkdir /etc/keepalived

cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

cp /usr/local/sbin/keepalived /usr/sbin/

cp /usr/local/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/

chmod +x /etc/rc.d/init.d/keepalived

chkconfig keepalived on

service keepalived start #启动

service keepalived stop  #关闭

service keepalived restart  #重启

 ps:以上直接辅助的原作者的命令,主要是没什么可写的,按照命令操作即可。

 ps2:参考资料在这会安装perl的相关环境,因为他的从库状态监测脚本需要用到,但是我并没有在这添加,主要考虑到如下的情况

  1、我有单独的数据库从库状态监测告警脚本(见上两篇原创随笔)

      2、keeplived本身有对3306端口的检测,如果数据库出现异常可以发现并处理。

      3、我希望即便从库同步出现问题,也能够继续提供服务,因为线上环境需要的是服务畅通,短暂不同步的代价我是能够接受的。

3、配置keepalived

cp /etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf-bak

>/etc/keepalived/keepalived.conf   #清空配置文件

vi /etc/keepalived/keepalived.conf  #以下内容直接全部粘贴即可

 

======================================

! Configuration File for keepalived

 

global_defs {

        router_id LVS_DEVEL

}

 

vrrp_instance VI_1 {

 

        state MASTER

        interface eth0

        virtual_router_id 51

        priority 100

        advert_int 1

        authentication {

        auth_type PASS

        auth_pass 1111

        }

 

        virtual_ipaddress {

                192.168.20.253

        }

}

 

virtual_server 192.168.20.253 3306 {

 

                delay_loop 6

                lb_algo wlc

                lb_kind DR

                #persistence_timeout 120

                protocol TCP

 

        real_server 192.168.20.182 3306 {

 

                weight 1

                TCP_CHECK {

                        connect_timeout 3 

                        nb_get_retry 3 

                        delay_before_retry 3 

                        connect_port 3306

                }

        }

 

        real_server 192.168.20.183 3306 {

 

                weight 1

                TCP_CHECK {

                        connect_timeout 3

                        nb_get_retry 3

                        delay_before_retry 3

                        connect_port 3306

        }

}

}

==============================================

#wp    #保存退出

注:最好在使用以上内容前,复制到编辑器,检查括号是否齐全与匹配,这很重要。

 

三、数据库从库配置(192.168.20.182、183)

1、绑定LVS虚拟服务器(VIP):192.168.20.253到lo:0

 #编辑增加如下代码:

vi  /etc/rc.d/init.d/realserver

==================================================

#!/bin/sh

# chkconfig: - 80 90

# description:realserver

# mysql_vip start realserver

mysql_vip=192.168.20.253 

. /etc/rc.d/init.d/functions

case "$1" in

start)

ifconfig lo:0 $mysql_vip netmask 255.255.255.255 broadcast $mysql_vip

/sbin/route add -host $mysql_vip dev lo:0

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

sysctl -p >/dev/null 2>&1

echo "RealServer Start OK"

;;

stop)

ifconfig lo:0 down

route del $mysql_vip >/dev/null 2>&1

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

echo "RealServer Stoped"

;;

*)

echo "Usage: $0 {start|stop}"

exit 1

esac

exit 0

==========================================================

chmod +x /etc/rc.d/init.d/realserver 

chkconfig realserver on  

/etc/rc.d/init.d/realserver start  

 

 2、配置允许ARP转发

 

vi /etc/sysctl.conf

============================

net.ipv4.ip_forward = 1   #修改原有配置

# MYSQL-VIP-NewAdd    #此为新增配置

net.ipv4.conf.lo.arp_ignore= 1

net.ipv4.conf.lo.arp_announce= 2
net.ipv4.conf.all.arp_ignore= 1

net.ipv4.conf.all.arp_announce= 2

============================

/sbin/sysctl -p

 

四、负载均衡功能测试

 1、LVS主机(20.180)执行:

service keepalived start

ipvsadm -Ln  #检查lvs运行状态

keepalive lvs keepalive lvs mysql_服务器

2、数据库从库(20.182、20.183)

/etc/rc.d/init.d/realserver start  

VIP已经绑定到lo:0

keepalive lvs keepalive lvs mysql_keepalive lvs_02

 

3、负载均衡功能测试

20.182:执行service mysql stop

在20.180(LVS主机)上执行

ipvsadm -Ln

可以看到20.182服务器已经被去掉。同理再次启动之后此服务器会被再次加入服务。

keepalive lvs keepalive lvs mysql_mysql_03

 

4、VIP数据库功能测试

在测试服务器(1.181)上执行数据库连接命令

mysql -uroot -pXXXXXX -h192.168.20.253

keepalive lvs keepalive lvs mysql_服务器_04

telnet 192.168.20.253 3306

 

FAQ:

  1、能够ping通,但是telnet不通,不知道是为什么?

        答:网上看到很多人,包括我自己,都遇到了这个问题,VIP能够ping通,但是telnet以及mysql连接命令不通,怎么着也找不到问题。

          这个问题困扰了我很长时间,中间试验停止了两个月,因为实在找不到原因,但是后来实在是啼笑皆非,原因竟然是:没有使用测试机,

          我所有的测试命令都是在LVS主机上执行的,而LVS主机上绑定了VIP,并且没有mysql服务,肯定能ping通,但是在没有转发请求的

          情况下,肯定服务不通。

 

  2、原资料中的一些命令的困扰?

    答:比如ipvsadm -L   在我的服务器上是不显示具体IP的,只显示localhost,一度让我以为服务不通跟这个有联系,但实际上执行ipvsadm -Ln就ok了。

 

  3、数据库从库状态检测脚本是否使用?

   答:我觉得这个应该根据具体的业务系统的需求去考虑,我的系统要求的是能够持续提供服务,对数据一致性的要求没有那么高,所以我只需要对同步状态进行

         告警,并保证能及时处理即可,并不需要停止服务这么严苛。另外脚本使用perl或者shell实际上应该没有什么不同。

ok!整个方案就这样了,中间省略了一些步骤,比如数据库主从服务的搭建,LVS高可用的搭建,这两个服务我在很久之前就搭建了无数次,实在是懒得再写,并且这种单独的服务在网上已经有了无数个攻略,写的价值不是很大,大家各种研究下吧。

  另外水平有限,如果有所遗漏和错误请大家指出,我及时修改,如果有更完善的方案,大家能分享就更好了。