DAS  直连存储
NAS    nfs  samba  
SAN  存储区域网络 

IP SAN

node1                 node2
     \                       /
      \                     /
            交换机
       /                    \
     /                       \
  192.168.10.2     192.168.10.3

#配置yum
Server VT Cluster ClusterStorage


存储节点配置：

节点3安装一个软件：
yum install scsi-target-utils -y   

编辑配置文件
vim /etc/tgt/targets.conf

通讯设备
default-driver iscsi    

共享设备
iqn iscsi合格名称
<target iqn.2012-07.com.zhaoyun:node3.target1>
     backing-store  /dev/sda    共享的设备名
     write-cache   off                 关闭写缓存，如果不关，重启会出错
     vendor_id      node3            可以理解为，主机地址
     product_id    storage1          产品型号
     initiator-address  192.168.10.1     允许访问的IP地址，访问控制
     initiator-address  192.168.10.2    
</target>

service tgtd start   启动服务
tgt-admin    --show 

节点4 
同节点3差不多



前端节点配置,客户端
需要支持  
yum install iscsi-initiator-utils -y
service iscsi start 

发现共享资源信息
iscsiadm -m discovery  -t sendtargets -p 192.168.10.3:3260   
iscsiadm -m discovery  -t sendtargets -p 192.168.10.4:3260

添加资源
iscsiadm -m node -T iqn.信息  -l 登陆  | -u 登出

udev  当系统插入硬件时， kernel先加载设备驱动去识别，
挂载规则，写udev规则


udevinfo -a -p /sys/block/sdb              -a 所有信息  -p 路径
 从以上值提取信息   ==是匹配  +=是添加
vim /etc/udev/rules.d/80-scsi.rules

第一块
SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node3"  ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node3"  
第二块
SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node4"  ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node4"  



vgchange -ay vg001



gfs   全局文件系统  
如果前端几点使用GFS，前边节点必须是一个集群


安装集群
node1 node2都需要配置 


yum install system-config-cluster -y
yum install cman -y
service cman start
clustat 

gfs-utils 提供格式化的命令，第二个提供了让内核支持gfs。
yum install gfs-utils kmod-gfs  



modprobe gfs2
lsmod |grep gfs

-t  集群名:锁表名            -j 指定日志的格式
格式化gfs文件系统
gfs_mkfs  -t  iscsi_cluster:tables -p lock_dlm -j 2 /dev/vg001/lv0

挂载gfs文件系统
mount -t gfs2 -o lockproto=lock_dlm /dev/vg001/lv001 /mnt



扩展iscsi空间，扩展存储节点
新加新的存储节点

yum install iscsi-target-utils -y
vim /etc/tgt/targets.conf

<target iqn.2012-07.com.zhaoyun:node5.target1>
   backing-store /dev/sdb
   write-cache off
   vendor_id node5
   product_id storage1
  initiator-address 192.168.10.1
  initiator-address 192.168.10.2
</target>

启动服务
service tgtd start
tgt-admin --show

#####
node1  查看配置
iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260
iscsiadm -m node -T iqn. -l   登陆

fdisk -l 发现新设备

vi /etc/udev/80-iscsi.rules
添加规则
start_udev 重启udev

pvcreate /dev/iscsi/node5
vgextend vg001 /dev/iscsi/node5 
lvextend -l +900 /dev/vg001/lv001
gfs_grow -v /iscsi/
df -h   磁盘空间扩大


node2通node1一样
iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260
iscsiadm -m node -T iqn. -l 


不停业务更新tgt配置文件
tgt-admin --update --force  读取配置文件内容


添加节点node6 ,web节点
cman_tool update /etc/cluster/cluster.conf
编辑配置文件、、


pvscan
vgchange -ay vg001
lvdisplay
yum install gfs2_utils kmod-gfs -y
modeprobe gfs2
mount -t gfs -o lockproto=lock_dlm /dev/vg001/lv001 /iscsi
报日志少，挂载失败
gfs_tool  journals /iscsi
gfs2_jadd -j 1 /iscsi 


开机自动挂载
vim /etc/fstab
/dev/vg001/lv001 /iscsi gfs2  lockproto=lock_dlm 0 0

yum install lvm2-cluster
lvmconf --enable-cluster   集群虚拟逻辑卷组
chkconfig clvmd on