Linux  多网卡绑定概述

本文 os:6.4  这里测试是四块网卡绑定 1 块 bond


我们在这介绍的Linux 双 网卡绑定实现就是使用两块网卡虚拟成为一块网卡,这个聚合起来的设备看起来是一个单独的以太网接口设备,通俗点讲就是两块网卡具有相同的IP地址而并行链 接聚合成一个逻辑链路工作。其实这项技术在Sun和Cisco中早已存在,被称为Trunking和Etherchannel 技术,在Linux的2.4.x的内核中也采用这这种技术,被称为bonding。
bonding技术的最早应用是在集群——beowulf上,为了提高集群节点间的数据 传 输而设计的。下面我们讨论一下bonding 的原理,什么是bonding需要从网卡的混杂(promisc)模式说起。我们知道,在正常情况下,网卡只接收目的硬件地址(MAC Address)是自身Mac的以太网帧,对于别的数据帧都滤掉,以减轻驱动程序的负担。但是网卡也支持另外一种被称为混杂promisc的模式,可以接 收网络 上所有的帧,比如说tcpdump,就是运行在这个模式下。bonding也运行在这个模式下,而且修改了驱动程序中的mac地址,将两块网卡的Mac地址改成相同,可以接收特定mac的数据帧。然后把相应的数据帧传送给bond驱动程序处理。
直接给两块网卡设置同一IP地址是不可能的。Kernels 2.4.12及以后的版本均供bonding模块,以前的版本可以通过patch实现。可以通过以下命令确定内核是否支持 bonding:

[root@Aries]$ cat /boot/config-2.6.32-431.el6.x86_64 |grep -i CONFIG_BONDING
CONFIG_BONDING=m

网卡绑定的意义

网络负载均衡

对 于bonding的网络负载均衡是我们在文件服务器中常用到的,比如把三块网卡,当做一块来用,解决一个IP地址,流量过大,服务器网络压力过大的问 题。对于文件服务器来说,比如NFS或SAMBA文件服务器,没有任何一个管理员会把内部网的文件服务器的IP地址弄很多个来解决网络负载的问题。如果在 内网中,文件服务器为了管理和应用上的方便,大多是用同一个IP地址。对于一个百M的本地网络来说,文件服务器在多个用户同时使用的情况下,网络压力是极 大的,特别是SAMABA和NFS服务器。为了解决同一个IP地址,突破流量的限制,毕竟网线和网卡对数据的吞吐量是有限制的。如果在有限的资源的情况 下,实现网络负载均衡,最好的办法就是 bonding ;
网络冗余;
对于服务器来说,网络设备的稳定也是比较重要的,特别是网卡。在 生产型的系统中,网卡的可靠性就更为重要了。在生产型的系统中,大多通过硬件设备的冗余来 提供服务器的可靠性和安全性,比如电源。bonding 也能为网卡提供冗余的支持。把网个网卡绑定到一个IP地址,当一块网卡发生物理性损坏的情况下,另一块网卡也能提供正常的服务。

双网卡绑定设置 
一、编辑虚拟网络接口配置文件,指定网卡IP 
假设eth0是对外服务的网卡,已经调试好网络;eth1是希望与eth0同时对外提供服务的网卡

# cd /etc/sysconfig/network-scripts/

#vi ifcfg-bond0

写入如下信息和原来 ifcfg-eth0 的配置其实差不多。
所以我建议执行如下语句,将ifcfg-eth0复制一份再改。

# cp ifcfg-eth0 ifcfg-bon0

将ifcfg-bon0的信息修改大致如下:

DEVICE=bond0
IPADDR=10.199.xx.xx
NETMASK=255.255.255.xxx
NETWORK=10.199.xx.xx
GATEWAY=10.199.xx.xx
ONBOOT=yes
BOOTPROTO=none
#DNS1=xx.xx.xx.xx
USERCTL=no
BONDING_OPTS="mode=1 miimon=100"
TYPE=Ethernet
IPV6INIT=no


二、配置真实网卡 
修改ifcfg-em1如下:

DEVICE=em1
#HWADDR=4c:76:25:42:f8:41
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0       #如果不写,则必须做第四步
SLAVE=yes          #如果不写,则必须做第四步
USERCTL=no
#TYPE=Ethernet
#IPV6INIT=no
TYPE=Ethernet
IPV6INIT=no




类似地修ifcfg-em2如下:

DEVICE=em2
#HWADDR=4C:76:25:42:F8:44
ONBOOT=yes
BOOTPROTO=none
MASTER=bond0
SLAVE=yes
USERCTL=no
#TYPE=Ethernet
#IPV6INIT=no
TYPE=Ethernet
IPV6INIT=no

其他类似


三、加载模块,让系统 支持bonding 
默认情况下,内核已支持bonding,只需要简单修改/etc/modprobe.d/bond.conf 这个配置文档就可以了:添加两行

 cat /etc/modprobe.d/bond.conf 
alias bond0 bonding
#options bonding miimon=100 mode=1

说明:
mode指定了bond0的工作模式,在redhat中有0-6共7种工作模式,常用的是0和1。

mode=0 表示 load balancing (round-robin)为负载均衡方式,两块网卡都工作。 
mode=1 表示 fault-tolerance (active-backup)提供冗余功能,工作方式是主 从的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份。  
mode=2 表示 XOR policy 为平衡策略。此模式提供负载平衡和容错能力  
mode=3 表示 broadcast 为广播策略。此模式提供了容错能力  
mode=4 表示 IEEE 802.3ad Dynamic link aggregation 为 IEEE 802.3ad 为 动态链接聚合。该策略可以通过 xmit_hash_policy 选项从缺省的 XOR 策略改变到其他策略。  
mode=5 表示 Adaptive transmit load balancing 为适配器传输负载均衡。该 模式的必要条件:ethtool 支持获取每个 slave 的速率  
mode=6 表示 Adaptive load balancing 为适配器适应性负载均衡。该模式包含 了 balance-tlb 模式,同时加上针对 IPV4 流量的接收负载均衡(receive load   balance, rlb),而且不需要任何 switch(交换机)的支持。  
bonding 只能提供链路监测,即从主机到交换机的链路是否接通。如果只是交换机对 外的链路 down 掉了,而交换机本身并没有故障,那么 bonding 会认为链路没有问题而继 续使用。

关于绑定网卡的详细参数可参见笔者的另一篇文章
http://czmmiao.iteye.com/admin/blogs/1044031
四、增加开机启动脚本 
在 /etc/rc.d/rc.local里加上

#ifenslave bond0 em1 em2 em3 em4

如果eth0和eth1都写了MASTER和SLAVE,则上面的步骤做不做都无所谓。
五、重启 
reboot或者service network restart 都可以看到结果。

六、查看绑定在哪张网卡上 

 cat /proc/net/bonding/bond0 
Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: em2
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: em1
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 3
Permanent HW addr: 4c:76:25:42:f8:75
Slave queue ID: 0

Slave Interface: em2
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 3
Permanent HW addr: 4c:76:25:42:f8:78
Slave queue ID: 0

Slave Interface: em3
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 3
Permanent HW addr: 4c:76:25:42:fb:f1
Slave queue ID: 0

Slave Interface: em4
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 3
Permanent HW addr: 4c:76:25:42:fb:f4
Slave queue ID: 0

六、测试 
ping着某个地址,当然是能ping通的地址啦。如果发现网络不通,请检查ifcfg-bond0的网络设置。
然后拔掉一根网线,如果ping没断,证明拔了一根backup的线,不是主线,重新插上等两分钟。
此时拔掉另一根网线,估计现在可以看到ping超时或者卡在那里,稍等10~30秒,ping继续连同。
测试成功。