Lenovo DS存储Linux下ISCSI 多路径映射配置
Renren 2018-01-17
实验环境:
DS4200存储,B控制器池划分一个大小为18G的volume,通过两个1G ISCSI口port2和port3同时映射给客户机。Port B2口IP为172.16.1.14/24 ;port B3口IP为172.16.1.15/24。
客户机系统为centos 6.9,两个以太网口,eth0口IP为172.16.1.195/24,eth1口的IP为172.16.1.196/24。网络均为联通状态。客户机需要用开启多路径使用此18G卷。
详细配置如下:
卷映射配置如图:
存储ISCSI映射口网络配置情况如下图:
客户机网卡设置情况如下图:
客户机和存储的ISCSI口网络联通情况如下:
客户机初始磁盘和文件系统情况如下图,只有sda一个磁盘:
实验操作过程:
为实验顺利,对客户机做以下操作(具体方法不赘述):
关闭selinux
关闭iptables防火墙
两个以太网口设置自启动。
配置有可以正常使用的外网yum源
1, 客户机安装ISCSI发现程序iscsi-initiator-utils
使用yum的方式安装 yum –y install iscsi* ,安装成功如下图
一般情况下安装完成后iscsi服务会被添加到开机自启动,也可以用chkconfig iscsi on添加
验证查看本机的iscsi IQN号,使用cat /etc/iscsi/initiatorname.iscsi命令查看:
(注:如下图,直接用命令启动iscsi服务是不生效的,重启也无效,此处无关,待后续执行ISCSI发现之后该服务会自己启动)
2,执行ISCSI发现目标(target)的命令,iscsiadm –m discovery –t st –p 172.16.1.14:3260
如下图,只要取存储的一个ISCSI口的IP执行发现命令即可。可以发现该存储上的所有ISCSI映射,我们只需要用到
172.16.1.14和172.16.1.15这两个,另外两个是存储其他端口的ISCSI映射,与此次试验无关。
3,登录被发现的目标节点
Iscsiadm –m node –p 172.16.1.14:3260 –l
Iscsiadm –m node –p 172.16.1.15:3260 –l
登录连接成功如下图:
验证查看本机的磁盘情况,如下图,由于登录连接了两个节点,系统下新增sdb和sdc两个盘符,
即一个volume映射的两条路径,后续需要开启多路径功能来合并成一个使用。
4,安装Linux的多路径软件
用命令安装 yum –y install device-mapper device-mapper-multipath
安装完成后用 rpm –qa |grep mapper 命令验证安装成功,会列出已安装包的版本,如下图:
验证多路径软件的运行状态,使用multipath –ll 命令
如下图,提示DM多路径内核模块未加载。
使用命令service multipathd start启动多路径服务,如下图。再次查看多路径软件运行状态,
仍有报错提示——多路径配置文件不存在。需要建立/etc/multipath.conf这个配置文件。
5,建立并配置多路径软件的配置文件。
使用命令 vi /etc/multipath.conf建立并开打这个配置文件,输入配置文件的内容如下图(一般性配置)即可。
此处也把配置文件以文字形式列出:
blacklist {
devnode “^sda”
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
保存配置文件并退出。
6,设置多路径软件开机自动启动
使用命令 chkconfig multipathd on
使用命令 chkconfig –list 查看服务开机自启动项,如下图
7,重启客户机,执行查看多路径软件运行状态,如下图即多路径软件成功操作了DS4200存储映射过来的卷。
验证查看客户机磁盘状态,生成了一个在/dev/mapper下的多路径设备mpatha。
8,在客户机下使用这个映射过来的18G的卷即直接使用这个mpatha的设备(其实就是卷dm-0的一个链接,操作/dev/dm-0也一样)进行分区、格式化、挂载目录使用即可。
格式化分区挂载多路径设备
为了验证多路径的冗余特性,人为断掉一条连接存储B2 port即IP为172.16.1.14这条物理链路。
1, 对上图中的多路径设备/dev/mapper/mpatha进行分区
命令fdisk /dev/mapper/mpatha
使用默认设置分一个区(分区过程操作不赘述)
分区完毕后,fdisk –l查看发现已经完成的分区/dev/mapper/mpathap1 如下图:
但此时在/dev/mapper/目录下并未出现mpathap1这个分区,如下图
对/dev/mapper/mpathap1格式化也会报错,提示没有这个分区
针对以上问题的解决方法——需要重启一下iscsi服务,service iscsi restart让他重新登录目标节点。如图,提示172.16.1.14已无法登录,因为事先已经人为断掉。另外两个IP是存储其他端口的ISCSI映射,与此次试验无关。
再次查看在/dev/mapper/目录下出现了mpathap1这个分区
2, 对/dev/mapper/mpathap1格式化成ext4格式
mkfs.ext4 /dev/mapper/mpathap1
对分区进行写测试操作,如下图
3, 对/dev/mapper/mpathap1这个分区挂载目录使用
新建一个测试目录: mkdir /datatest
挂载目录: mount /dev/mapper/mpathap1 /datatest/
测试针对此目录的读写使用,正常。如果对目录操作有ext4-fs error之类的报错可以尝试重启服务器。