drbd+keepalived nfs高可用方案实践

原创

kai404 2015-05-26 21:51:01 博主文章分类：运维架构 ©著作权

文章标签 nfs keepalived drbd 文章分类 分布式服务器

©著作权归作者所有：来自51CTO博客作者kai404的原创作品，请联系作者获取转载授权，否则将追究法律责任

实验环境：

系统CentOS 6.5 X64

Ip：172.16.25.162 172.16.25.163

epel源

每台主机有/dev/sdb1: 1073 MB挂载点/test供drbd使用

先升级nfs先关组件：

yum updatenfs-utilsnfs-utils-lib nfs4-acl-tools
yum updaterpcbind

一、安装配置

安装配置drbd：

[root@master~]#wget http://oss.linbit.com/drbd/8.3/drbd-8.3.16.tar.gz
[root@master~]#tarzxvfdrbd-8.3.16.tar.gz
[root@master~]#./configure --prefix=/usr/local/drbd--with-km     #--with-km是启用内核模块
[root@master~]#make KDIR=/usr/src/kernels/2.6.32-431.el6.x86_64   #KDIR随系统而变
[root@master~]#make install
[root@master~]#mkdir -p /usr/local/drbd/var/run/drbd
[root@master~]#cp /usr/local/drbd/etc/rc.d/init.d/drbd  /etc/rc.d/init.d/
[root@master~]#chkconfig --add drbd; chkconfigdrbd on
[root@master~]#cp drbd/drbd.ko/lib/modules/2.6.32-431.el6.x86_64/kernel/lib/
[root@master~]#modprobe drbd
[root@master~]#lsmod |grepdrbd      #验证drbd模块是否加载成功

准备底层存储设备：一块硬盘、软raid、LVM逻辑卷、甚至另一个drbd设备（drbd叠加）
准备网络配置：
推荐（不是必须）在专用的、直连的、千兆的网络上运行drbd。如果通过交换机运行drbd，建议设置一个热备的交换机同时the Linux bonding driver (in active-backup mode) is recommended
注意三点
    1) Our two DRBD hosts each have a currently unused network interface, eth1,with IP addresses 10.1.1.31 and 10.1.1.32 assigned to it, respectively.
    2) No other services are using TCP ports 7788 through 7799 on either host.
    3) The local firewall configuration allows both inbound and outbound TCP connections between the hosts over these ports
配置drbd

drbd所有配置均在/etc/drbd.conf，默认的，该配置文件只是一个‘框架’，有如下两行

include"/etc/drbd.d/global_common.conf"; 
include"/etc/drbd.d/*.res";

/etc/drbd.d/global_common.conf 包含drbd global 和 common 段的设置，*.res文件每个包含一个resource 段的配置。

注意：确保每个节点上drbd的配置文件保持一致

实验环境配置文件

   
 global {
        usage-count yes;
    }
    common {
        protocol C;           # A 数据一旦写入磁盘并发送到网络中就认为完成了写入操作                
                              # B 收到接收确认就认为完成了写入操作
                              # C 收到写入确认就认为完成了写入操作
    }
    resource r0 {
        on master {    #master为主机名，配置文件里必须和uname–n输出的一致，不一致会导致no resources defined!
        device   /dev/drbd1;
        disk     /dev/sdb1;address  172.16.25.162:7789;
        meta-disk internal;}on slave {device   /dev/drbd1;
        disk     /dev/sdb1;
        address  172.16.25.163:7789;
        meta-disk internal;
        }
    }

4、初始化resource

创建设备元数据，该步骤只在设备初始化时执行一次，在两台server分别执行

[root@master~]#drbdadm create-md r0(resource名称)

一台报错：drbdadm create-md r0: exited with code 40

解决方法：dd if=/dev/zero of=/dev/sdb1 bs=1M count=10（count数量不限，主要是为了清除/dev/sdb1上的分区信息）。成功截图如下

5、启动drbd

[root@master~]#/etc/init.d/drbd start

刚启动时，两台机器上drbd状态均为secondary

在drbd主上执行drbdsetup/dev/drbd0 primary -o，将drbd状态改为primary（无此步，会导致格式化/dev/drbd0时报错）。执行过此命令以后，可以通过drbdadmprimary/secondary r0来切换主被动状态

6、挂载drbd设备

现在可以把主机上的DRBD设备挂载到一个目录上进行使用.备机的DRBD设备无法被挂载,因为它是
用来接收主机数据的,由DRBD负责操作.

在drbd primary节点（否则格式化会报错Wrong medium type while trying to determine filesystem size）

[root@master ~]#mkfs.ext4/dev/drbd1

[root@master~]#mount /dev/drbd1 /test

二、使用管理

1、状态查看

[root@master ~]#drbd-overview 
或者
[root@master ~]# cat /proc/drbd
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build byroot@master, 2015-03-29 15:25:43
   1: cs:Connectedro:Secondary/Secondary ds:Inconsistent/Inconsistent Cr-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0ua:0 ap:0 ep:1 wo:f oos:1044124
cs: connect state  ro:表示角色信息  ds: 磁盘状态信息Inconsistent/UpToDatens/nr:网络发送/接收的数据包信息dw/dr:设备读写信息

“/proc/drbd”中显示了drbd当前的状态。第一行的Secondary/Secondary 表示两台主机的状态,都是”备机”状态.ds是磁盘状态,都是”不一致”状态. 这是由于DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化一个主机。在master server执行：

[root@master ~]#drbdsetup /dev/drbd1 primary –o
或者
[root@master ~]#drbdadm primary r0

再看两台的/proc/drbd

倒数第二行可以看到正在从主向备同步数据

日志变化(/var/logs/message)

主机：

备机：

2、DRBD的主备机切换

有时,你需要将DRBD的主备机互换一下.可以执行下面的操作:
在主机上,先要卸载掉DRBD设备.

[root@master /]# umount /mnt/drbd1

将主机降级为”备机”.

[root@master /]# drbdadm secondary r0
[root@master /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-1, 2007-07-28 07:13:14
    1: cs:Connectedst:Secondary/Secondaryds:UpToDate/UpToDate C r---
    ns:0 nr:5 dw:5 dr:0 al:0 bm:0 lo:0 pe:0ua:0 ap:0
    resync: used:0/31 hits:0 misses:0starving:0 dirty:0 changed:0
    act_log: used:0/127 hits:0 misses:0starving:0 dirty:0 changed:0

现在,两台主机都是”备机”.

在备机slave上,将它升级为”主机”.

[root@slave /]# drbdadm primary r0
[root@slave /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-2, 2007-07-28 07:13:14
    1: cs:Connectedst:Primary/Secondaryds:UpToDate/UpToDate C r---
    ns:0 nr:5 dw:5 dr:0 al:0 bm:0 lo:0 pe:0ua:0 ap:0
    resync: used:0/31 hits:0 misses:0starving:0 dirty:0 changed:0
    act_log: used:0/127 hits:0 misses:0starving:0 dirty:0 changed:0

现在，slave成为了”主机”。你可以把它的/dev/drbd1进行挂载和使用了。同样，数据会被同步到
master的/dev/drbd0上

三、配合keepalived实现自动fail-over

Keepalived配置文件主机：
    ! Configuration File for keepalived
    global_defs {
        notification_email {
            acassen@firewall.loc
            failover@firewall.loc
            sysadmin@firewall.loc
        }
        notification_email_from Alexandre.Cassen@firewall.loc
        smtp_server 192.168.200.1
        smtp_connect_timeout 30
        router_id LVS_DEVEL
    }
    vrrp_scriptchk_nfs {
        script "/etc/keepalived/check_nfs.sh"
        interval 5
    }
    vrrp_instance VI_1 {
        state MASTER
        interface eth0
        virtual_router_id 51
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        track_script {
            chk_nfs
        }
    notify_stop /etc/keepalived/notify_stop.sh          #脚本见附件
    notify_master /etc/keepalived/notify_master.sh      #脚本见附件
    virtual_ipaddress {
        172.16.200.234/24
    }
}

备机：
! Configuration File for keepalived
global_defs {
    notification_email {
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc
    smtp_server 192.168.200.1
    smtp_connect_timeout 30
    router_id LVS_DEVEL
    }
vrrp_instance VI_1 {
    state BACKUP
    interface eth1
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    notify_master /etc/keepalived/notify_master.sh         #脚本见附件

    notify_backup /etc/keepalived/notify_backup.sh         #脚本见附件

    virtual_ipaddress {
        172.16.200.234/24
    }
}

四、系列验证实验：

nfs服务端配置：/test *(sync,rw,no_root_squash)

1、自动切换测试：

关闭主上keepalived，会按照预期流程走。关闭主上nfs----卸载资源设备----主drbd降级----备drdb升级----备挂载资源设备----备启动nfs服务。但是在客户端看来，切换时间过长，切换后打开文件约有1.5分的延时，如图