iscsi挂载和多路径——实战篇

第一部分 硬件 服务器：超威(SUPERMICRO)刀片机一刀（内存8G、硬盘2T） 存储：主控：双控制器IPSAN（每个控制器4个网口，最左侧1个管理口），容量64T。扩展柜：容量64T 系统 服务器：centos6.4 64位 存储：web端操作

第二部分 存储web端配置 依次操作如下： 1、从管理口登录存储web 2、选择控制器网卡模式为系统IP模式（可简化网络配置），设置两块控制器的target IP 3、创建2个磁盘组，为每个磁盘组增设一块“私有热备”盘，每个磁盘组的Raid级别均为Raid5 4、基于每个磁盘组创建1个卷组，共创建2个卷组 5、基于每个卷组创建2个逻辑卷，共创建4个逻辑卷

第三部分 服务器iscsi安装 1、服务器装好centos6.4 64位系统desktop版，配置好IP。 2、用以下命令检查iscsi rpm包 rpm -qa | grep iscsi 检查结果： 3、若没有检查到iscsi rpm包，从rpm包网站（http://rpm.pbone.net/)下载与系统版本相适应的 iscsi rpm包，并安装。安装命令如下： rpm -ivh iscsi-initiator-utils-devel-6.2.0.873-2.el6.x86_64 rpm -ivh iscsi-initiator-utils-devel-6.2.0.873-27.el6_9.x86_64 再次用命令 rpm -qa | grep iscsi 检查，以确认安装成功 拓展： 升级安装命令，安装高版本 rpm -Uvh xxxx1.rpm 降级安装命令，安装低版本 rpm -Uvh --oldpackage xxxx0.rpm

第四部分 用以下命令获取服务器的iqn号备用 cat /etc/iscsi/initiatorname.iscsi 结果如下： 第五部分 存储web配置 1、添加主机端口，在WWN/IQN处添加第四部分获取的服务器iqn号。（有几台服务器需要添加几个iqn号，即添加几个主机端口。） 2、创建主机，添加主机端口（将主机与主机端口关联），建立映射（将主机与之前添加的四个逻辑卷关联）。

第六部分 服务器配置（若服务器上检测不到target，需要执行） 用命令vi /etc/iscsi/iscsi.cnf编辑文件/iscsi.cnf ， 将文件/iscsi.cnf 中如下几行前面的#号去掉。

第七部分 服务器配置——iscsi挂载 1、执行如下命令，重启iscsi服务 service iscsi start #启动iscsi服务 service iscsid start #启动iscsid服务 chkconfig iscsi on #设置iscsi开机启动 chkconfig iscsid on #设置iscsid开机启动 service iscsi status #查看iscsi的状态。若查询的状态为stop，只要iscsi的rpm包安装正确，不用担心。在2中会自动启动。 service iscsid status #查看iscsid的状态。#查看iscsid的状态。若查询的状态为stop，只要iscsi的rpm包安装正确，不用担心。在2中会自动启动。 2、依次执行如下命令，及命令执行结果 [root@localhost ~]# iscsiadm -m discovery -t sendtargets -p 100.13.14.21:3260 100.13.14.21:3260,3 iqn.2008-08.com.znv:d200.ad00001473eb8f01:0 [root@localhost ~]# iscsiadm -m discovery -t sendtargets -p 100.13.14.22:3260 100.13.14.22:3260,16387 iqn.2008-08.com.znv:d200.ad00001473eb8f01:1 [root@localhost ~]# iscsiadm -m node -T iqn.2008-08.com.znv:d200.ad00001473eb8f01:0 -p 100.13.14.21:3260 -l
Logging in to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] (multiple) Login to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] successful. [root@localhost ~]# iscsiadm -m node -T iqn.2008-08.com.znv:d200.ad00001473eb8f01:1 -p 100.13.14.22:3260 -l
Logging in to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] (multiple) Login to [iface: default, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] successful.

注：iscsiadm退出登入——参考 [root@localhost mapper]# iscsiadm -m node --targetname iqn.2008-08.com.znv:d200.ad00001473eb8f01:0 -p 100.13.14.21 -u Logging out of session [sid: 1, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] Logout of [sid: 1, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:0, portal: 100.13.14.21,3260] successful. [root@localhost mapper]# iscsiadm -m node --targetname iqn.2008-08.com.znv:d200.ad00001473eb8f01:1 -p 100.13.14.22 -u Logging out of session [sid: 2, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] Logout of [sid: 2, target: iqn.2008-08.com.znv:d200.ad00001473eb8f01:1, portal: 100.13.14.22,3260] successful. [root@localhost ~]# fdisk -l #执行该命令后会发现从存储映射过来的磁盘。（有几块控制器，较实际的磁盘数量，磁盘数会翻几倍）

第七部分 服务器配置——多路径配置 1、用以下命令检查mapper rpm包 rpm -qa | grep mapper 检查结果（类似如下7个）： device-mapper-multipath-libs-0.4.9-93.el6.x86_64 device-mapper-persistent-data-0.6.2-0.1.rc7.el6.x86_64 device-mapper-libs-1.02.117-7.el6_8.1.x86_64 device-mapper-event-1.02.117-7.el6_8.1.x86_64 device-mapper-event-libs-1.02.117-7.el6_8.1.x86_64 device-mapper-multipath-0.4.9-93.el6.x86_64 device-mapper-1.02.117-7.el6_8.1.x86_64 2、若没有检查到mapper rpm包，从rpm包网站（http://rpm.pbone.net/)下载与系统版本相适应的 mapper rpm包，并安装。安装命令如下： rpm -ivh device-mapper-multipath-0.4.9-64.el6.x86_64.rpm rpm -ivh device-mapper-multipath-libs-0.4.9-64.el6.x86_64.rpm 再次用命令 rpm -qa | grep mapper 检查，以确认安装成功 3、 复制文件multipath.conf到/etc下。 cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc 文件夹/etc下multipath.conf的最简配置如下。（通过取消注释原配置行可实现修改。） blacklist { devnode "^sda" } defaults { user_friendly_names yes path_grouping_policy multibus failback immediate no_path_retry fail }

4、依次执行如下命令，及结果 [root@localhost ~]# lsmod | grep dm_multipath [root@localhost ~]# modprobe dm_multipath [root@localhost ~]# modprobe dm_round_robin [root@localhost ~]# lsmod | grep dm_multipath dm_multipath 17916 1 dm_round_robin dm_mod 102467 3 dm_multipath,dm_mirror,dm_log [root@localhost ~]# chkconfig multipathd on [root@localhost ~]# /etc/init.d/multipathd start Starting multipathd daemon: [ OK ] 5、执行命令multipath -ll，可见多路径信息

第八部分 服务器配置——多路径设备分区 1、cd /dev/mapper 进入文件夹mapper下，可见多路径设备，如mpatha、mpathb等。 2、给多路径设备分区之前，执行一下命令，将其先初始化为物理卷。 3、给多路径设备分区 4、多路径设备分区完毕的结果 [root@localhost ~]# cd /dev/mapper/ [root@localhost mapper]# ls control mpatha mpathap1 mpathb mpathbp1 mpathc mpathcp1 mpathd mpathdp1

第九部分 服务器配置——多路径分区格式化 1、用以下命令检查xfsprogs rpm包，是否安装。 rpm -qa | grep xfsprogs 2、若没有检查到xfsprogs rpm包，从rpm包网站（http://rpm.pbone.net/)下载与系统版本相适应的 xfsprogs rpm包（或者从系统iso镜像中提取），并安装。安装命令如下： rpm -ivh xfsprogs-3.1.1-10.el6.x86_64.rpm 再次用命令 rpm -qa | grep xfsprogs 检查，以确认安装成功 3、执行以下命令依次格式化所有多路径分区。格式化命令及结果如下。 [root@localhost mapper]# date && mkfs.xfs -f /dev/mapper/mpathep1 && date Tue Dec 25 17:02:41 CST 2018 meta-data=/dev/mapper/mpathep1 isize=256 agcount=32, agsize=268435455 blks = sectsz=512 attr=2, projid32bit=0 data = bsize=4096 blocks=8388607488, imaxpct=5 = sunit=0 swidth=0 blks naming =version 2 bsize=4096 ascii-ci=0 log =internal log bsize=4096 blocks=521728, version=2 = sectsz=512 sunit=0 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0 Tue Dec 25 17:03:06 CST 2018

第十部分 服务器配置——多路径分区挂载 1、依次执行以下命令，对多路径分区进行挂载。 [root@localhost /]# mkdir data1 [root@localhost /]# blkid /dev/mapper/mpathep1 /dev/mapper/mpathep1: UUID="5c64e8a8-aca5-47f7-9b4c-20adc590687c" TYPE="xfs" [root@localhost /]# vi /etc/fstab #编辑文件/etc/fstab实现多路径分区开机自动挂载。

[root@localhost /]# mount -a
[root@localhost /]# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda3 1.8T 28G 1.7T 2% / tmpfs 3.9G 72K 3.9G 1% /dev/shm /dev/sda1 1.9G 59M 1.8G 4% /boot /dev/mapper/mpathep1 32T 34M 32T 1% /data1

第十一部分 常用命令

问题：mkfs.ext4格式化多路径分区未成功。