本节内容：
• 实战：配置IP SAN多路径实现磁盘挂载高可用
• 实战：在应用服务器上使用udev规则为target创建固定名字的软链接
ISCSI多路径应用
如果存储服务器到交换机只有一条线路的时候，那么一条线路出线故障，整个就没法使用了，所以多线路可以解决这个问题，避免单点故障
安装tgtd服务器：
[root@xuegod63 Desktop]# yum install -y scsi-target-utils
准备一个磁盘： sda4
[root@xuegod63 ~]# fdisk /dev/sda #划分出sda4 分区
WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (command 'c') and change display units to
sectors (command 'u').
Command (m for help): p
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000b8b35
Device Boot Start End Blocks Id System
/dev/sda1 * 1 26 204800 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 26 1301 10240000 83 Linux
/dev/sda3 1301 1428 1024000 82 Linux swap / Solaris
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Selected partition 4
First cylinder (1428-2610, default 1428):
Using default value 1428
Last cylinder, +cylinders or +size{K,M,G} (1428-2610, default 2610): +1G
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.[root@xuegod63 ~]#reboot
配置target ，把sda4分区共享出去
修改配置文件vim /etc/tgt/targets.conf #写入以下内容
在参考这段内容并在段内容后，追加以下红色标记内容：
#<target iqn.2008-09.com.example:server.target4>
76 # direct-store /dev/sdb # Becomes LUN 1
77 # direct-store /dev/sdc # Becomes LUN 2
78 # direct-store /dev/sdd # Becomes LUN 3
79 # write-cache off
80 # vendor_id MyCompany Inc.
81 #</target>为：
<target iqn.2015-01.cn.xuegod.www:target_san1>
backing-store /dev/sda4
initiator-address 192.168.1.64
initiator-address 192.168.2.64 #在访问控制列表中添加一个客户端
vendor_id xuegod
product_id target1
</target>注释：
default-driver iscsi #此配置文件默认全部注释，使用iscsi驱动
<tarrget iqn.2015-1.cn.xuegod.www:target_san1> # iscsi正规名字格式 : iqn.年－月.主机名倒着写: target端名字
backing-store /dev/hda4 # 可以是具体的分区，也可以是DD出来的文件。不能小于1G。 （后面的文件系统是GFS，光日志空间就128M）
initiator-address 192.168.1.64 #指定允许访问的此存储主机
initiator-address 192.168.2.64 #指定允许访问的此存储主机
vendor_id “xuegod.cn” #供应厂商编号 标识这个设备（字符不要过长）
product_id "TARGET1" # 产品编号
</target>3)启动服务
[root@xuegod63 Desktop]#systemctl restart tgtd [root@xuegod63 Desktop]# netstat -antup | grep 3260
tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 3130/tgtd
tcp 0 0 :::3260 :::* LISTEN 3130/tgtd4) 查看状态
[root@xuegod63 Desktop]# tgt-admin --show
Target 1: iqn.2015-01.cn.xuegod.www:target_san1
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 5372 MB, Block size: 512
Online: Yes
Removable media: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/sda4
Backing store flags:
Account information:
ACL information: #允许哪些客户端可以访问
192.168.1.64
192.168.2.64开机启动：
[root@xuegod63 Desktop]# chkconfig tgtd on
配置客户端： xuegod64
安装包：
[root@xuegod64 ~]# rpm -ivh /mnt/Packages/iscsi-initiator-utils-6.2.0.872-34.el6.x86_64.rpm
需要先发现target存储，再启动客户端服务，才有效
[root@xuegod64 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.1.63:3260
Starting iscsid: [ OK ] #发现时，会自动把iscsid服务启动
192.168.1.63:3260,1 iqn.2015-01.cn.xuegod.www:target_san1[root@xuegod64 ~]#systemctl restart iscsi # 根据/var/lib/iscsi/ 中发现的信息，识别设备
Stopping iscsi: [ OK ]
Starting iscsi: [ OK ]开机自动启动：
[root@xuegod64 ~]# systemctl enable iscsi [root@xuegod64 ~]# systemctl enable iscsid
查看发现到新硬盘：
[root@xuegod64 ~]# ls /dev/sdb
/dev/sdb在xuegod63服务端查看链接状态
[root@xuegod63 ~]# netstat -antup | grep 3260
tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 1999/tgtd
tcp 0 0 192.168.1.63:3260 192.168.1.64:46553 ESTABLISHED 1999/tgtd
tcp 0 0 :::3260 :::* LISTEN 1999/tgtd客户端从另一条线路发现设备：
[root@xuegod64 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.2.63
192.168.2.63:3260,1 iqn.2015-01.cn.xuegod.www:target_san1[root@xuegod64 ~]# rpm -ivh /mnt/Packages/tree-1.5.3-2.el6.x86_64.rpm [root@xuegod64 ~]# tree /var/lib/iscsi/
/var/lib/iscsi/
├── ifaces
├── isns
├── nodes
│ └── iqn.2015-01.cn.xuegod.www:target_san1
│ ├── 192.168.1.63,3260,1
│ │ └── default
│ └── 192.168.2.63,3260,1
│ └── default
├── send_targets
│ ├── 192.168.1.63,3260
│ │ ├── iqn.2015-01.cn.xuegod.www:target_san1,192.168.1.63,3260,1,default -> /var/lib/iscsi/nodes/iqn.2015-01.cn.xuegod.www:target_san1/192.168.1.63,3260,1
│ │ └── st_config
│ └── 192.168.2.63,3260
│ ├── iqn.2015-01.cn.xuegod.www:target_san1,192.168.2.63,3260,1,default -> /var/lib/iscsi/nodes/iqn.2015-01.cn.xuegod.www:target_san1/192.168.2.63,3260,1
│ └── st_config识别出硬盘并查看：
[root@xuegod64 ~]# /etc/init.d/iscsi restart
Stopping iscsi: [ OK ]
Starting iscsi: [ OK ][root@xuegod64 ~]# ls /dev/sd*
/dev/sda /dev/sda1 /dev/sda2 /dev/sda3 /dev/sdb /dev/sdc挂载硬盘测试数据：
[root@xuegod64 ~]# fdisk /dev/sdb #使用sdb中所有空间，创建sdb1分区
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x337c0db1.
Changes will remain in memory only, until you decide to write them.
After that, of course, the previous content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (command 'c') and change display units to
sectors (command 'u').
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1019, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-1019, default 1019):
Using default value 1019
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
Syncing disks.[root@xuegod64 ~]# mkfs.ext4 /dev/sdb1 [root@xuegod64 ~]# mount /dev/sdb1 /opt/ [root@xuegod64 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 9.7G 3.7G 5.5G 41% /
tmpfs 569M 0 569M 0% /dev/shm
/dev/sda1 194M 28M 157M 15% /boot
/dev/sr0 3.4G 3.4G 0 100% /mnt
/dev/sdb1 5.0G 138M 4.6G 3% /opt注：可以看到sdb1可以正常使用
[root@xuegod64 ~]# ls /dev/sdc* #查看不到sdc1
/dev/sdc[root@xuegod64 ~]# /etc/init.d/iscsi restart #重启iscsi服务，重新挂载存储
Stopping iscsi: [ OK ]
Starting iscsi: [ OK ][root@xuegod64 ~]# ls /dev/sdc*
/dev/sdc /dev/sdc1[root@xuegod64 ~]# mkdir /tmp/sdc1 [root@xuegod64 ~]# mount /dev/sdc1 /tmp/sdc1/
[root@xuegod64 ~]# mount /dev/sdb1 /opt 挂载报错了吧？
[root@xuegod64 ~]# blkid /dev/sdc1 /dev/sdb1 # 对比一下，发现UUID一样的
解决方法：
[root@xuegod64 ~]#mount -t xfs -o nouuid /dev/sdb1 /opt
[root@xuegod64 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 9.7G 3.7G 5.5G 41% /
tmpfs 569M 0 569M 0% /dev/shm
/dev/sda1 194M 28M 157M 15% /boot
/dev/sr0 3.4G 3.4G 0 100% /mnt
/dev/sdc1 5.0G 138M 4.6G 3% /tmp/sdc1
/dev/sdb1 5.0G 138M 4.6G 3% /opt实例5： 在存储客户端xuegod64上配置多路径
多路径软件Device Mapper Multipath（DM-Multipath莫提怕）可以将服务器节点和存储阵列之间的多条I/O链路配置为一个单独的设备。这些I/O链路是由不同的线缆、交换机、控制器组成的SAN物理链路。Multipath将这些链路聚合在一起，生成一个单独的新的设备。
1.DM-Multipath概览：
- （1）数据冗余（高可用）
DM-Multipath可以实现在active/passive模式下的灾难转移。在active/passive模式下，只有一半的链路在工作，如果链路上的某一部分（线缆、交换机、控制器）出现故障，DM-Multipath就会切换到另一半链路上。 - （2）提高性能（负载均衡）
DM-Multipath也可以配置为active/active模式，从而I/O任务以round-robin的方式分布到所有的链路上去。通过配置，DM-Multipath还可以检测链路上的负载情况，动态地进行负载均衡。
安装多路经软件
[root@xuegod64 ~]# yum install device-mapper-multipath -y
使用默认配置文件启动
[root@xuegod64 ~]# cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/ [root@xuegod64 ~]# systemctl restart multipathd [root@xuegod64 ~]# multipath -ll #没有输出消息。 表示出错了。
解决：把正在使用中的sdb1和sdbc1卸载了
[root@xuegod64 ~]# umount /opt/ [root@xuegod64 ~]# umount /tmp/sdc1/
[root@xuegod64 ~]# /etc/init.d/iscsi restart [root@xuegod64 ~]# systemctl restart multipathd [root@xuegod64 ~]# multipath -ll
3600000000e00000000010001（远程存储设备id）dm-2 xuegod（厂商） ,target1（产品ID）
size=5.0G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active #默认使用active的链路
| `- 34:0:0:1 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=1 status=enabled #有效的链路，但不是活动链路
`- 35:0:0:1 sdc 8:32 active ready running
#默认配置并不会实现负载均衡，只会实现高可用的效果。(3600000000e00000000010001) 远程存储设备的产品信息，由于sdc和sdb对应的都是远端同一个存储，所以产品信息是一样的，最后被多路经驱动发现，所以为他们生成了一个设备文件/dev/mapper/mpatha
ll /dev/mapper/mpatha*lrwxrwxrwx 1 root root 7 1月 13 09:02 /dev/mapper/mpatha -> ../dm-2
lrwxrwxrwx 1 root root 7 1月 13 09:02 /dev/mapper/mpathap1 -> ../dm-3如图：
实战2：修改配置文件，启动高可用负载均衡模式,并自定义多路经设备文件的名字：
vim /etc/multipath.conf
请在此模版下写内容：
在74行以下插入以下内容：
multipaths {
multipath {
wwid "360000000000000000e00000000010001" #填写硬盘产品关键信息
alias webdata #自定义名字
path_grouping_policy multibus
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
}重启服务multipathd，测试负载均衡：
[root@xuegod64 ~]# systemctl restart multipathd [root@xuegod64 ~]# systemctl restart iscsi #需要重新实别一下存储
再次查看：
[root@xuegod64 ~]# multipath -ll
webdata (360000000000000000e00000000010001) dm-2 xuegod ,target1
size=5.0G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
|- 34:0:0:1 sdb 8:16 active ready running
`- 35:0:0:1 sdc 8:32 active ready running注：之前相当于主备，现在相当于负载均衡 。
测试：
[root@xuegod64 ~]# ls /dev/mapper/webdata*
webdata webdata1 # webdata对应硬盘sdb， webdata1对应硬盘中的第一个分区[root@xuegod64 ~]# mount /dev/mapper/webdata1 /opt [root@xuegod64 ~]# cp /etc/hosts /opt [root@xuegod64 ~]# ls /opt
lost+found passwd hosts实战2：模拟故障： 断开一条链路。测试链路高可用，关闭其中一个网卡，多路经驱动需要约1分钟的时间，去识别链路故障
[root@xuegod63 ~]# ifdown ens32 查看链路状态：
[root@xuegod64 ~]# multipath -ll #多路经驱动需要约1分钟的时间，去识别链路故障
|- 12:0:0:1 sdb 8:16 active faulty running # 链接运行不正常 faulty故障
`- 13:0:0:1 sdc 8:32 active ready running
#会卡在这个地方，大约一分钟后，检测故障结束[root@xuegod64 ~]# multipath -ll
|- 12:0:0:1 sdb 8:16 failed faulty running #1分钟后，显示链路连接失败。
`- 13:0:0:1 sdc 8:32 active ready running测试写入数据：
[root@xuegod64 ~]# cp /boot/grub/ /mnt/ -r [root@xuegod64 ~]# ls /mnt/
grub lost+found passwd hosts注：数据可以正常写入，说明，高可用成功。
打开链路，过一段时间再看：
[root@xuegod63 ~]# ifup ens35 [root@xuegod64 ~]# multipath -ll
|- 8:0:0:1 sdb 8:16 active ready running
`- 9:0:0:1 sdc 8:32 active ready running #链路运行正常实战：在应用服务器上使用udev规则为target创建固定名字的软链接
udev概述： udev 是Linux kernel 2.6系列的设备管理器。它主要的功能是管理/dev目录底下的设备节点。udev会根据用户添加/删除硬件的行为，自处理/dev目录下所有设备文件。
主配置文件:/etc/udev/udev.conf
设备文件名字规则目录：
[root@xuegod64 ~]# ls /lib/udev/rules.d/10-dm.rules
命名规律： 开头为数字， 结尾是 .rules运行机制和注意事项：
- 1、udev按照规则文件名的数字顺序来查询全部规则文件，然后为匹配规则的设备，创建其设备文件或文件链接。
- 2、通常情况下，建议让自己想要的规则文件最先被解析。比如，创建一个名为 /etc/udev/rules.d/10-myrule.rules的文件，并把你的规则写入该文件，这样udev就会在解析系统默认的规则文件之前解析到你的文件。
- 3、在规则文件里，除了以“#”开头的行（注释），所有的非空行都被视为一条规则，但是一条规则不能扩展到多行。
- 4、规则都是由多个键值对（key-valuepairs）组成，并由逗号隔开，键值对可以分为条件匹配键值对(以下简称“匹配键”)和赋值键值对(以下简称“赋值键”)，一条规则可以有多条匹配键和多条赋值键。
- 5、匹配键是匹配一个设备属性的条件，当一个设备的属性匹配了该规则里所有的匹配键，就认为这条规则生效，然后按照赋值键的内容，执行该规则的赋值。
说明：如果有一个设备被内核实别sdb1，则该条件生效，执行后面的赋值：在/dev下产生一个名为my_ disk的设备文件，并把设备文件的权限设为0666。
详细参数说明
udev规则的匹配键
- ACTION： 事件 (uevent) 的行为，例如：add( 添加设备 )、remove( 删除设备 )。
- KERNEL： 内核设备名称，例如：sda, cdrom。
- DEVPATH：设备的 devpath 路径。
- SUBSYSTEM： 设备的子系统名称，例如：sda 的子系统为 block。
- BUS： 设备在 devpath 里的总线名称，例如：usb。
- DRIVER： 设备在 devpath 里的设备驱动名称，例如：ide-cdrom。
- ID： 设备在 devpath 里的识别号。
- SYSFS{filename}： 设备的 devpath 路径下，设备的属性文件“filename”里的内容。
- ENV{key}： 环境变量。在一条规则中，可以设定最多五条环境变量的 匹配键。
- PROGRAM：调用外部命令。
- RESULT： 外部命令 PROGRAM 的返回结果。
udev重要的赋值键 - NAME：在 /dev下产生的设备文件名。只有第一次对某个设备的 NAME 的赋值行为生效，之后匹配的规则再对该设备的 NAME 赋值行为将被忽略。如果没有任何规则对设备的 NAME 赋值，udev 将使用内核设备名称来产生设备文件。
- SYMLINK：为 /dev/下的设备文件产生符号链接。由于 udev 只能为某个设备产生一个设备文件，所以为了不覆盖系统默认的 udev 规则所产生的文件，推荐使用符号链接。
- OWNER, GROUP, MODE：为设备设定权限。
- ENV{key}：导入一个环境变量
udev规则操作符 - “==”：比较键、值，若等于，则该条件满足；
- “!=”： 比较键、值，若不等于，则该条件满足；
- “=”： 对一个键赋值；
- “+=”：为一个表示多个条目的键赋值。
- “:=”：对一个键赋值，并拒绝之后所有对该键的改动。目的是防止后面的规则文件对该键赋值。
# KERNEL是匹配键，NAME和MODE是赋值键。
仅当操作符是“==”或者“!=”时，其为匹配键；若为其他操作符时，都是赋值键。
相关文章：http://www.361way.com/udev-disk-order/3954.html
实战：在应用服务器xuegod64上使用udev规则为每个target创建固定名字的软链接
对iscsi多路径共享的设备设备，让内核识别成：my_disk
在进行udev绑定的时候，可以是一个未分区的磁盘，也可以是磁盘的一个分区。
查看共享设备磁盘的UUID：
[root@xuegod62 rules.d]# /usr/lib/udev/scsi_id -g -u /dev/sdb
360000000000000000e00000000010001或执行：/lib/udev/scsi_id --whitelisted --replace-whitespace /dev/sdb
[root@xuegod62 rules.d]# vim /etc/udev/rules.d/10-sda.rules #写入以下内容
KERNEL=="sd?1",SUBSYSTEM=="block",PROGRAM="/lib/udev/scsi_id --whitelisted --replace-whitespace /dev/$name", RESULT=="360000000000000000e00000000010001", SYMLINK+="my-disk1", MODE="0660"参数：
# KERNEL是匹配键, SUBSYSTEM：设备的子系统名称，例如：sda 的子系统为block。udevadm info -a -p /sys/block
# PROGRAM：调用外部命令;
# RESULT： 外部命令 PROGRAM 的返回结果。
# SYMLINK：为/dev/下的设备文件产生符号链接。由于udev 只能为某个设备产生一个设备文件，所以为了不覆盖系统默认的udev 规则所产生的文件，推荐使用符号链接。
# MODE：为设备设定权限通知内核磁盘信息的变化
[root@xuegod62]# /sbin/partprobe /dev/sdb1 或者 systemctl restart systemd-udev-trigger
# /sbin/partprobe /dev/sd* 通常使用该命令让新的规则文件立即生效
# udev 的日志一般没有标准输出，所有的udev 相关信息都按照配置文件(udev.conf)的参数设置，由/var/log/messages记录。查看：
[root@xuegod64 rules.d]# ll /dev/my_disk
lrwxrwxrwx 1 root root 4 1月 24 14:19 /dev/my-disk1 -> sdb1[root@xuegod64 rules.d]# mount /dev/my_disk /opt/
#如果无法挂载使用,请卸载multipath再测试。
