最后的时候我们会讲一下lvs
背景:
随着公司的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5又太贵，公司又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用LVS+Keepalived基于完整开源软件的架构可以提供一个负载均衡及高可用的服务器。

一．LVS+Keepalived 介绍

1.LVS
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；
八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。

2.Keepalvied
Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现

二. 网站负载均衡拓朴图

1 ±------------VIP(192.168.0.100)------------------+
2 | | |
3 | | |
4 server(MASTER) <----keepalived----> server(BACKUP)
5 (192.168.0.1) (192.168.0.2)

IP规划：
Hostname ip
VIP 192.168.1.222
MASTER 192.168.1.202
BACKUP 192.168.1.204
REALSERVER1 192.168.1.203
REALSERVER2 192.168.1.201

三、部署步骤

安装LVS和Keepalvied软件包

1. 下载相关软件包

#mkdir /usr/local/src/lvs
       #cd /usr/local/src/lvs
       #wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
       #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz

2. 安装LVS和Keepalived

#lsmod |grep ip_vs
        #uname -r
        2.6.32-279.el6.x86_64
        #yum install kernel-devel
        #yum -y install popt*
#yum -y install libnl*
#yum -y install openssl*
        #ln -s /usr/src/kernels/2.6.32-279.9.1.el6.x86_64/ /usr/src/linux

        #tar zxvf ipvsadm-1.24.tar.gz
        #cd ipvsadm-1.24
        #make && make install
        #find / -name ipvsadm  # 查看ipvsadm的位置

        #tar zxvf keepalived-1.1.15.tar.gz
        #cd keepalived-1.1.15
        #./configure  && make && make install
        #find / -name keepalived  # 查看keepalived位置                
    
        #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
        #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
        #mkdir /etc/keepalived
        #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
        #cp /usr/local/sbin/keepalived /usr/sbin/
        #service keepalived start|stop     #做成系统启动服务方便管理.

3.配置LVS-DR脚本.

#!/bin/bash
# description: start LVS of DirectorServer
#Written by : ce
VIP=172.16.0.250
RIP1=172.16.0.204
RIP2=172.16.0.205
. /etc/rc.d/init.d/functions
logger $0 called with $1
 
case "$1" in
 
start)
           # set squid vip
           /sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
           /sbin/route add -host $VIP dev eth0:0
 
       ;;
stop)
           ifconfig eth0:0 down
           route del $VIP
           echo "lvs_dr stoped"
           ;;
 
*)
          echo "Usage: $0 {start|stop}"
           exit 1
esac

4.配置Realserver脚本.

#!/bin/bash
#description Config LVS to realserver lo and apply noarp
#Written by ce

VIP=172.16.0.250
. /etc/init.d/functions

case "$1" in
        start)
               ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
               /sbin/route add -host $SNS_VIP dev lo:0
               echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
               echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
               echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
               echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
               sysctl -p >/dev/null 2>&1
               echo "RealServer Start OK"

               ;;
        stop)
               ifconfig lo:0 down
               route del $VIP >/dev/null 2>&1
               echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
               echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
               echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
               echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
               echo "RealServer Stoped"
               ;;
        *)
               echo "Usage: $0 {start|stop}"
               exit 1
        esac

        exit 0

5.利用Keepalvied实现负载均衡和和高可用性

1.配置在主负载均衡服务器上配置keepalived.conf

#vi /etc/keepalived/keepalived.conf
  ! Configuration File for keepalived

global_defs {
  router_id LVS_DEVEL
}

 # VIP1
vrrp_instance VI_1 {
    state MASTER             #备份服务器上将MASTER改为BACKUP   
    interface eth0
    virtual_router_id 51
    priority 100    # 备份服务上将100改为99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.100   
        #(如果有多个VIP，继续换行填写.)
    }
}

virtual_server 192.168.0.100 80 {
    delay_loop 6                  #(每隔10秒查询realserver状态)
    lb_algo wrr                  #(lvs 算法)
    lb_kind DR                  #(Direct Route)
    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP                #(用TCP协议检查realserver状态)

    real_server 192.168.0.3 80 {
        weight 3               #(权重)
        TCP_CHECK {
        connect_timeout 10       #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.0.4 80 {
        weight 3
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}
  1. BACKUP服务器同上配置，先安装lvs再按装keepalived,仍后配置/etc/keepalived/keepalived.conf，只需将红色标示的部分改一下即可.
  2. 启动keepalived
    #/etc/init.d/keepalived start 启动keepalived 服务，keepalived就能利用keepalived.conf 配置文件，实现负载均衡和高可用. 整个LVS负均衡HA方案，由keepalived.conf一个文件即可搞定！
  3. 查看lvs服务是否正常
#watch ipvsadm –ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddressort Scheduler Flags
  -> RemoteAddressort           Forward Weight ActiveConn InActConn
TCP  61.164.122.8:80 wrr persistent 60
  -> 61.164.122.10:80            Route   3      0          0
  -> 61.164.122.9:80             Route   3      0          0

#tail –f /var/log/message 监听日志，查看状态。

下面就是lvs介绍哦

【教程主题】：3.LVS

【1.1】集群简介
集群的概念(Concepts of Cluster)
HAC(High Availability Cluster)
LBC(Load Balance Cluster)
HPC(High Performance Computing Cluster)
Grid computing

计算机集群简称集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。

集群分为同构与异构两种，它们的区别在于：组成集群系统的计算机之间的体系结构是否相同。集群计算机按功能和结构可以分成以下几类:
高可用性集群 High-availability (HA) clusters
负载均衡集群 Load balancing clusters
高性能计算集群 High-performance (HPC) clusters
网格计算 Grid computing
高可用性集群
当集群中有某个节点失效的情况下，其上的任务会自动转移到其他正常的节点上。可以将集群中的某节点进行离线维护再上线，该过程并不影响整个集群的运行。
负载均衡集群
负载均衡集群运行时，一般通过一个或者多个前端负载均衡器，将工作负载分发到后端的一组服务器上，从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群（Server Farm）。 一般高可用性集群和负载均衡集群会使用类似的技术，或同时具有高可用性与负载均衡的特点。
Linux虚拟服务器（LVS）项目在Linux操作系统上提供了最常用的负载均衡软件。
高性能计算集群
高性能计算集群采用将计算任务分配到集群的不同计算节点而提高计算能力，因而主要应用在科学计算领域。比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。这一集群配置通常被称为Beowulf集群。这类集群通常运行特定的程序以发挥HPC cluster的并行能力。这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。
HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业，比如一个节点的中间结果或影响到其它节点计算结果的情况。
网格计算
网格计算或网格集群是一种与集群计算非常相关的技术。网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机，它的运作更像一个计算公共设施而不是一个独立的计算机。还有，网格通常比集群支持更多不同类型的计算机集合。
网格计算是针对有许多独立作业的工作任务作优化，在计算过程中作业间无需共享数据。网格主要服务于管理在独立执行工作的计算机间的作业分配。资源如存储可以被所有结点共享，但作业的中间结果不会影响在其他网格结点上作业的进展。

集群技术特点

1是通过多台计算机完成同一个工作。达到更高的效率。 2是两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用。

【1.2】LVS历史概述
Linux Virtual Server项目的目标：使用集群技术和Linux操作系统实现一个高性能、高可用的服务器，它具有很好的可伸缩性（Scalability）、可靠性（Reliability）和可管理性（Manageability）。在某种程度上是对市场上商业化硬件集群解决方案的开源替代方案。
LVS项目创始人章文嵩，1973年生人，国防科技大学博士。曾与LIDS项目创始人谢华刚联合创建中国集群技术有限公司。2009年9月加盟淘宝网，为淘宝资深总监、研究员、淘宝技术委员会主席，主要负责淘宝网基础核心软件研发、推进网络软硬件方面的性能优化、搭建下一代高可扩展低碳低成本淘宝电子商务基础设施。
在1998年5月，章文嵩先生成立了Linux Virtual Server的自由软件项目，进行Linux服务器集群的开发工作。同时，Linux Virtual Server项目是国内最早出现的自由软件项目之一。LVS第一个版本只花了两个星期的时间便把开源软件代码完成了，然后放到网上。因为是开源的，到网站上下载的人很多。LVS项目于1998年5月在网站上发布IPVS第一个版本源程序以来，一直得到了来自 Internet 的用户和开发者的鼓励和支持。
2004年12月24日，ipvs-1.2.1作为Netfilter的模块正式入驻linux官方内核2.6.10，得到更广泛地传播和应用。
官方网站：http://www.linuxvirtualserver.org/
【1.3】LVS介绍
基于LVS的负载均衡集群
三种网络/工作模式：NAT、DR、TUN
十个调度算法： rr、wrr、lc、wlc、lblc、lblcr、dh、sh、sed、 nq
集群系统的角色、结构
Client: CIP
Router:GWIP
VirtualServer(VS): VIP
Director/LoadBalancer(LB): DIP
RealServer(RS): RIP

1.轮叫调度（Round Robin）(简称rr)
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
2.加权轮叫（Weighted Round Robin）（简称wrr)
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
3.最少链接（Least Connections）(LC)
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较好地均衡负载。
4.加权最少链接（Weighted Least Connections）(WLC)
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
5.基于局部性的最少链接（Locality-Based Least Connections）(LBLC)
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接” 的原则选出一个可用的服务器，将请求发送到该服务器。
6.带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）(LBLCR)
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标 IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
7.目标地址散列（Destination Hashing）(DH)
“目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
8.源地址散列（Source Hashing）(SH)
“源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
9. 最短的期望的延迟（Shortest Expected Delay Scheduling SED）(SED)
基于wlc算法。这个必须举例来说了
ABC三台机器分别权重123 ，连接数也分别是123。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用sed算法后会进行这样一个运算
A(1+1)/1
B(1+2)/2
C(1+3)/3
根据运算结果，把连接交给C 。
10.最少队列调度（Never Queue Scheduling NQ）(NQ)
无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要在进行sed运算

LVS配置流程框架
拓扑信息收集
Director端配置过程
RealServer端配置过程
测试过程

LVS集群拓扑信息表
角色：Client, Router, VS, RS
拓扑信息：CIP, GWIP, DIP, VIP, RIP,……

IP规划：
Hostname ip
VIP 192.168.1.250
MASTER 192.168.1.202
BACKUP 192.168.1.204
REALSERVER1 192.168.1.201
REALSERVER2 192.168.1.203

配置LVS集群的过程
确认内核支持ipvs
执行命令：modprobe -l | grep ipvs
确定集群架构、类型、角色/成员、拓扑，确定各成员的网络配置参数。
网络环境的配置
专用网络设备：路由器/防火墙/交换机
集群各成员主机配置信息
使用ifconfig或者ip命令配置网络接口
在各个角色主机上跑tcpdump抓包，分析报文通径。这一方法通常用于分析LVS配置中的故障。
前端(FrontEnd)调度器Director的配置
NAT:
外网VIP配置，将作为对外公开的可访问接口
内网DIP配置，将作为后端RealServer的GWIP
内核IP转发参数设置
负载均衡服务、服务器及规则配置
基于ipvsadm脚本的方法
基于keepalived配置文件的方法
DR:
先在对外公开的可访问接口上配置DIP，然后在该接口上创建子接口配置VIP
内核参数设置
负载均衡服务、服务器及规则配置
基于ipvsadm脚本的方法
基于keepalived配置文件的方法
TUN:同DR，但要注意配置重点在隧道设备。