菜鸟学Linux 第092篇笔记 iscsi, gfs2, clvm

菜鸟学Linux 第092篇笔记 iscsi, gfs2, clvm

内容总览

iSCSI 概述

安装服务端scsi-target-utiles

安装客户端 iscsi-initiator-utils

配置iscsi基于用户密码认证

配置的iscsi所共享的硬盘使用集群文件系统gfs2

集群逻辑卷　lvm2-cluster

SCSI and iSCSI (small computer system interface)

lun (logical unit number)逻辑设备

iSCSI 

用来实现将scsi设备基于网络传送到其它客户端，并且映射到客户端为硬件设备，此种方式

和nfs有高大区别，它可以实现挂载共享的磁盘，分区等操作

存储区域网络

共享数据(基于块)

使SCSI的传输距离变长

三种iscsi innitiator

iscsi hba卡  可以实力完成数据封装，CPU利用率相对较低

iscsi toe卡  以软件方式动作的scsi指令，CPU利用率相对适中

iscsi 驱动程序 （软件方式实现，CPU利用率相对较高）

使用tcp 3260端口

iscsi会话

服务端

iSCSI Target: scsi-target-utils

3260

客户端认证方式：

1. 基于IP

2. 基于用户，chap

客户端

ISCSI Intiator: iscsi-initiator-utils

open-iscsi

安装服务端scsi-target-utiles　(即提供iscsi硬盘的提供端)

1.安装和启动

# yum install scsi-target-utils

# rpm -ql scsi-target-utils

# service tgtd start

# netstat -tunlp

# chkconfig tgtd on

2.配置命令

tgtadm模式化的命令

常用模式：　target, logicalunit, account

target --op

new, delete, show, bind, unbind, update

logicalunit --op

new, delete

account --op

new, delete, bind, unbind

选项简写

--lld, -L

--tid, -t

--lun, -l

--backing-store <path>, -b

--initiator-address <address>, -I

--targetname <targetname>, -T

targetname:

iqn.yyyy-mm.<reversed domain name>[:identifier]

iqn.2017-01.com.mysky:tstore.disk1

3.建立target

首先给服务器新安装一块硬盘不需要格式化(推荐)

创建target

# tgtadm --lld iscsi --mode target --op new --targetname 

iqn.2017-01.com.mysky:teststore.disk1 --tid 1 (一条命令)

# tgtadm --lld iscsi --mode target --op show

将target添加逻辑磁盘

# tgtadm --lld iscsi --mode logicalunit --op new --tid 1 --lun 1 

--backing-store /dev/sdb (一条命令)

# tgtadm --lld iscsi --mode target --op show

绑定target使用范围

# tgtadm --lld iscsi --mode target --op bind --tid 1 

--initiator-address 192.168.11.0/24　(一条命令)

安装客户端 iscsi-initiator-utils

1. 客户端安装iscsi-initiator-utils

# yum -y install iscsi-initiator-utils

# rpm -ql iscsi-initiator-utils

2. 配置

配置initiatorName 

# echo "InitiatorName=`iscsi-iname -p iqn.2017-01.com.mysk`" > 

/etc/iscsi/initiatorname.iscsi  (一条命令)

# cat /etc/iscsi/initiatorname.iscsi

# service iscsi start

iscsiadm模式化命令

-m {discovery|node|session|iface}

discovery 发现某服务器是否有target输出，以及输出了哪些target

node 管理跟某target的关联关系

session 会话管理

iface 接口管理

发现某个服务器上的target

iscsiadm -m discovery [ -hV ] [ -d debug_level ] [ -P printlevel ] 

[ -I iface -t type -p ip:port [ -l ] ]

-d 0-8

-I 

-t type: SendTaget(st), SLP, iSNS

-p IP:port

iscsiadm -m discovery -d 2 -t st -p 192.168.11.200

查询完成后会保留记录在此文件夹下

# ls /var/lib/iscsi/send_targets/

连接到上边所发现的target

iscsiadm  -m node [ [ -T targetname -p ip:port -I iface ] [ -l | -u | -R | -s] ] 

[ [ -o operation ]  [ -n name ]  [-v value ] [ -p ip:port ] ] (一条命令)

-l loin

-u logout

    iscsiadm -m node -T iqn.2017-01.com.mysky:teststore.disk1 -p 192.168.11.200 -l

    此时使用fdisk -l查看磁盘，即可看到多了一块硬盘，

    可以对该硬盘进行分区，格式化，挂载等操作

    (此时，共享存储服务已经建立完成)

注意的是，如果多台客户端同时连接此台iscsi设置时，如果未使用集群文件系统的话，多台客户端

如果同时读写此台设备的同一个文件时，可能会出现文件系统崩溃

配置iscsi基于用户密码认证

iscsi-initiator-utils:

不支持discovery认证

如果例如基于用户的认证，必须首先开放基于IP的认证

直接使用tgtadm所配置的参数无法保存，因为是其工作在内核中，如果重启服务器，或重新启动

此服务后，tgtadm所配置的参数会被删除

如要保存，则需要修改/etc/tgt/targets.conf文件，此文件在启动时会被tgt-admin命令读取

1. 服务器端配置(永久生效)

# vim /etc/tgt/targets.conf

添加如下内容

<target iqn.2017-01.com.mysky:disk1>

       <backing-store /dev/sdb1>

               vender_id mysky

               lun 3

       </backing-store>

       incominguser iscsiuser iscsipw

       initiator-address 192.168.11.0/24

</target>

重新启动tgtd服务使其配置生效

# service tgtd restart  (注意客户端的连接必须全部断开)

2. 清除此前的iscsi连接(在客户端上)

# iscsiadm -m node -T iqn.2017-01.com.mysky:disk1 -p 192.168.11.200 -u

# iscsiadm -m node -T iqn.2017-01.com.mysky:disk1 -p 192.168.11.200 -o delete

# fdisk -l

修改/etc/iscsi/iscsid.conf文件

# vim /etc/iscsi/iscsid.conf

启用如下三项并修改其密码和用户的和服务器端保持一致(我这里是显示已经修改好的)

node.session.auth.authmethod = CHAP

node.session.auth.username = iscsiuser

node.session.auth.password = iscsipw

添加完成后重启scsi服务

# service iscsi restart

(完成基于用户密码认证)

将刚刚配置的iscsi所共享的硬盘使用集群文件系统

可以使用集群文件系统锁

可以实现集群的文件系统共享

可以实现一个节点上传一个文件，其它节点立即便可显示该文件

准备工作

要想使用集群文件系统所有iscsi客户端必须得有集群文件系统组件

cman rgmanager

并已经配置好集群节点可以互相通信fence addnode

1. 安装gfs2-utils

# yum install gfs2-utils

先为硬盘创建分区，并使用partprobe通知内核更新

2. 格式化文件系统为gfs2

# mkfs.gfs2 -j 2 -p lock_dlm -t clsgfs:mysqlstore /dev/sdb1

# mount /dev/sdb1 /mnt

(注意此文件系统不会显示lost+found文件)

添加journal

# gfs2_jadd -j 3 /dev/sdb1

-j后所跟的数表示要再添加几个journal

其它节点直接挂载即可

mkfs.gfs2

-j # 指定日志区域的个数，有几个就可以被几个节点所挂载

-J #MB 指定日志区域的大小，默认为128MB

-p {lock_dlm|lock_nolock} (当集群文件系统被一个节点使用时，就不需要使用分布锁)

-t <name> 锁表的名称，　格式为clustername:locktablename

clustername为当前节点所在的集群的名称

locktablename要在当前集群中唯一

安装集群逻辑卷　lvm2-cluster

与lvm类似，只是这是一个集群的逻辑卷

配置集群ha cman rgmanager gfs2-utils lvm2-cluster

同步时间

修改hosts文件

clvm 共享存储做成lvm

借用ha机制

/etc/lvm/lvm.conf

locking_type = 3

clvm

1.安装lvm2-cluster

在每个节点安装lvm2-cluster

# yum -y install lvm2-cluster

或者在跳板机执行安装lvm2-cluster

# alias ha='for I in {1..3}; do'

# ha ssh node$I 'yum -y install lvm2-cluster'; done

2. 配置clvm

跳板机执行

# ha ssh node$I 'lvmconf --enable-cluster'; done

# ha ssh node$I 'service clvmd start'; done

# ha ssh node$I 'chkconfig clvm on; chkconfig cman on; chkconfig rgmanager on'; done

3. 创建lvm逻辑卷

和使用本地磁盘创建逻辑卷相同，只是所对应的磁盘为iscsi

pvcreate /dev/sdb

vgcreate clustervg /dev/sdb

lvcreate -L 10G -n clusterlv clustervg

4. 为clvm逻辑卷创建gfs2文件系统

# mkfs.gfs2 -j 2 -p local_dlm -t tcluster:locktab1 /dev/clustervg/clusterlv

5. 挂载clvm

# mkdir /mydata

# mount -t gfs2 /dev/clustervg/clusterlv /mydata

查看gfs文件系统

# gfs2_tool df /mydata

# gfs2_tool gettune <mountpoint> 查看lvm可调参数

# gfs2_tool settune <mountpoint> <parameter> <value> 修改具体的某个参数

# gfs2_tool journals <mountpoint> 查看磁盘日志信息

6. 扩展clvm

先扩展clvm和lvm扩展相同，最后通知扩展使用如下命令

# gfs2_grow /dev/clustervg/clusterlv 扩展clvm

（完结）

总结

centOS 6.5 已经淘汰了 ccs_tool此工具 而是使用ccs

WARNING

       All  ccs_tool  editing  capabilities  are  now obsoleted and unsup-

       ported.  Please see also ccs package and documentation for  a  more

       complete implementation of cluster.conf CLI editor.