ISCSI服务端和客户端的操作系统以及IP地址
环境准备
主机名称:
ISCSI服务端 ISCSI客户端
操作系统:
RHEL 7.3
IP地址:
服务端192.168.0.13 客户端192.168.0.10
服务端配置过程
第一步:配置好Yum 软件仓库后安装iSCSI 服务端程序以及配置命令工具。通过在yum命令的后面添加-y 参数,在安装过程中就不需要再进行手动确认了:
[root@linuxprobe ~]# yum -y install targetd targetcli
注:如果是RHEL6.5,安装以下包 [root@node1 ~]# yum install scsi-target-utils 安装后iSCSI服务
[root@node1 ~]# /etc/init.d/tgtd start
[root@node1 ~]# chkconfig tgtd on
# 监听端口为3260
[root@node1 ~]# netstat -tuanlp | grep tgtd
tcp 0 0 0.0.0.0:3260 0.0.0.0:* LISTEN 1248/tgtd
tcp 0 0 :::3260 :::* LISTEN 1248/tgtd
scsi-target-utils的相关配置文件
# /etc/tgt/targets.conf 主配置文件,设置要共享的磁盘格式与块设备等
# /usr/sbin/tgt-admin 查询、删除target等功能的设置工具
# /usr/sbin/tgt-setup-lun 建立target以及设置共享的磁盘与可使用的客户端等的程序
# /usr/sbin/tgtadm iscsi target管理程序(可使用配置文件取代)
# /usr/sbin/tgtd 提供iSCSI target服务的主程序
# /usr/sbin/tgtimg 搭建共享镜像文件设备程序
配置/etc/tgt/targets.conf,设置共享存储设备的路径相关属性
# Sample target with one LUN only. Defaults to allow access for all initiators:
#<target iqn.2008-09.com.example:server.target1>
# backing-store /dev/LVM/somedevice
#</target>
<target iqn.2016-09.org.huangming:viscsidisk>
backing-store /dev/sdb1
backing-store /dev/VolGroup00/iscsi00
initiator-address 10.0.0.12
initiator-address 10.0.0.0/24
incominguser viscsiuser viscsipasswd
write-cache off
</target>
# backing-store:虚拟的设备
# initiator-address:允许使用的客户端
# incominguser:配置通过用户和密码访问
# write-cache:不使用缓存,直接访问存储设备
重启tgtd服务
[root@node1 ~]# /etc/init.d/tgtd restart
Stopping SCSI target daemon: [ OK ]
Starting SCSI target daemon: [ OK ]
查看iscsi target共享存储的相关信息,使用tgt-admin --show命令
[root@node1 ~]# tgt-admin --show
Target 1: iqn.2016-09.org.huangming:viscsidisk
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 839 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/VolGroup00/iscsi00
Backing store flags:
LUN: 2
Type: disk
SCSI ID: IET 00010002
SCSI SN: beaf12
Size: 1086 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
Backing store type: rdwr
Backing store path: /dev/sdb1
Backing store flags:
Account information:
viscsiuser
ACL information:
10.0.0.12/24
防火墙设置
[root@node1 ~]# iptables -A INPUT -p tcp -s 10.0.0.12/24 --dport 3260 -j ACCEPT
注解开始至此为6.5配置过程
安装完成后启动iSCSI的服务端程序targetd,然后把这个服务程序加入到开机启动项中,以便下次在服务器中期后依然能够为用户提供iSCSI共享存储资源服务:
[root@linuxprobe ~]# systemctl start targetd [root@linuxprobe ~]# systemctl enable targetd
第 2 步:配置iSCSI 服务端共享资源。targetcli 是用于管理iSCSI 服务端存储资源的专用配置命令,它能够提供类似于fdisk 命令的交互式配置功能,将iSCSI 共享资源的配置内容抽象成“目录”的形式,我们只需将各类配置信息填入到相应的“目录”中即可。这里的难点主要在于认识每个“参数目录”的作用。当把配置参数正确地填写到“目录”中后,iSCSI服务端也可以提供共享资源服务了。
在执行 targetcli 命令后就能看到交互式的配置界面了。在该界面中可以使用很多Linux命令,比如利用ls 查看目录参数的结构,使用cd 切换到不同的目录中。/backstores/block 是iSCSI 服务端配置共享设备的位置。我们需要把刚刚创建的RAID 5 磁盘阵列md0 文件加入到配置共享设备的“资源池”中,并将该文件重新命名为disk0,这样用户就不会知道是由服务器中的哪块硬盘来提供共享存储资源,而只会看到一个名为disk0 的存储设备。
[root@linuxprobe ~]# targetcli
第 3 步:创建iSCSI target 名称及配置共享资源。iSCSI target 名称是由系统自动生成的,这是一串用于描述共享资源的唯一字符串。稍后用户在扫描iSCSI 服务端时即可看到这个字符串,因此我们不需要记住它。系统在生成这个target 名称后,还会在/iscsi 参数目录中创建一个与其字符串同名的新“目录”用来存放共享资源。我们需要把前面加入到iSCSI 共享资源池中的硬盘设备添加到这个新目录中,这样用户在登录iSCSI 服务端后,即可默认使用这硬盘设备提供的共享存储资源了。
/> cd iscsi /iscsi> /iscsi> create Created target iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80. Created TPG 1. /iscsi> cd iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80/ /iscsi/iqn.20....d497c356ad80> ls o- iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80 .... [TPGs: 1] o- tpg1 ............................................. [no-gen-acls, no-auth] o- acls ........................................................ [ACLs: 0] o- luns ........................................................ [LUNs: 0] o- portals .................................................. [Portals: 0] /iscsi/iqn.20....d497c356ad80> cd tpg1/luns /iscsi/iqn.20...d80/tpg1/luns> create /backstores/block/disk0 Created LUN 0.
第 4 步:设置访问控制列表(ACL)。iSCSI 协议是通过客户端名称进行验证的,也就是说,用户在访问存储共享资源时不需要输入密码,只要iSCSI 客户端的名称与服务端中设置的访问控制列表中某一名称条目一致即可,因此需要在iSCSI 服务端的配置文件中写入一串能够验证用户信息的名称。acls 参数目录用于存放能够访问iSCSI 服务端共享存储资源的客户端名称。在系统刚刚生成的iSCSI target 后面追加上类似于:client 的参数,这样既能保证客户端的名称具有唯一性,又非常便于管理和阅读:
/iscsi/iqn.20...d80/tpg1/luns> cd .. /iscsi/iqn.20...c356ad80/tpg1> cd acls /iscsi/iqn.20...d80/tpg1/acls> create iqn.2003-01.org.linux-iscsi.linuxprobe. x8664:sn.d497c356ad80:client Created Node ACL for iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80: client Created mapped LUN 0.
第5 步:设置iSCSI 服务端的监听IP 地址和端口号。位于生产环境中的服务器上可能有多块网卡,那么到底是由哪个网卡或IP 地址对外提供共享存储资源呢?这就需要我们在配置文件中手动定义iSCSI 服务端的信息,即在portals 参数目录中写上服务器的IP 地址。接下来将由系统自动开启服务器192.168.0.13 的3260 端口将向外提供iSCSI 共享存储资源服务:
/iscsi/iqn.20...d80/tpg1/acls> cd .. /iscsi/iqn.20...c356ad80/tpg1> cd portals /iscsi/iqn.20.../tpg1/portals> create 192.168.0.13 Using default IP port 3260 Created network portal 192.168.10.10:3260.
第 6 步:配置妥当后检查配置信息,重启iSCSI 服务端程序并配置防火墙策略。在参数文件配置妥当后,可以浏览刚刚配置的信息,确保与下面的信息基本一致。在确认信息无误后输入exit 命令来退出配置。注意,千万不要习惯性地按Ctrl + C 组合键结束进程,这样不会保存配置文件,我们的工作也就白费了。最后重启iSCSI 服务端程序,再设置firewalld 防火墙策略,使其放行3260/tcp 端口号的流量。
/iscsi/iqn.20.../tpg1/portals> ls / o- / ........................... [...] o- backstores................. [...] | o- block ................... [Storage Objects: 1] | | o- disk0 ................. [/dev/md0 (40.0GiB) write-thru activated] | o- fileio .................. [Storage Objects: 0] | o- pscsi ................... [Storage Objects: 0] | o- ramdisk ................. [Storage Objects: 0] o- iscsi ..................... [Targets: 1] | o-** iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80 ...** [TPGs: 1] | o- tpg1 .................. [no-gen-acls, no-auth] | o- acls ............................................... [ACLs: 1] | | o- iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80:client [Mapped LUNs: 1] | | o- mapped_lun0 .......................... [lun0 block/disk0 (rw)] o- luns .................... [LUNs: 1] | | o- lun0 .............. [block/disk0 (/dev/md0)] | o- portals ............. [Portals: 1] | o- 192.168.0.13:3260 [OK] o- loopback .................. [Targets: 0] /> exit Global pref auto_save_on_exit=true Last 10 configs saved in /etc/target/backup. Configuration saved to /etc/target/saveconfig.json [root@linuxprobe ~]# systemctl restart targetd [root@linuxprobe ~]# firewall-cmd --permanent --add-port=3260/tcp success [root@linuxprobe ~]# firewall-cmd --reload success
iSCSI 服务端配置完成。
Linux客户端配置过程
第一步安装iSCSI 客户端服务程序initiator
[root@linuxprobe ~]# yum install iscsi-initiator-utils Loaded plugins: langpacks, product-id, subscription-manager Package iscsi-initiator-utils-6.2.0.873-21.el7.x86_64 already installed and latest version Nothing to do
下面我们编辑iSCSI 客户端中的initiator 名称文件,把服务端的访问控制列表名称填写进来,然后重启客户端iscsid 服务程序并将其加入到开机启动项中:
[root@linuxprobe ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80:client [root@linuxprobe ~]# systemctl restart iscsid [root@linuxprobe ~]# systemctl enable iscsid ln -s '/usr/lib/systemd/system/iscsid.service' '/etc/systemd/system/multi-user. target.wants/iscsid.service'
iSCSI 客户端访问并使用共享存储资源的步骤很简单,只需要记住一个小口
诀“先发现,再登录,最后挂载并使用。iscsiadm 是用于管理、查询、插入、更新或删除iSCSI数据库配置文件的命令行工具,用户需要先使用这个工具扫描发现远程iSCSI 服务端,然后查看找到的服务端上有哪些可用的共享存储资源。其中,-m discovery 参数的目的是扫描并发现可用的存储资源,-t st 参数为执行扫描操作的类型,-p 192.168.0.13 参数为iSCSI 服务端的IP 地址:
[root@linuxprobe ~]# iscsiadm -m discovery -t st -p 192.168.0.13 192.168.10.10:3260,1 iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80
在使用 iscsiadm 命令发现了远程服务器上可用的存储资源后,接下来准备登录iSCSI 服务端。其中,-m node 参数为将客户端所在主机作为一台节点服务器,-T iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn.d497c356ad80 参数为要使用的存储资源(大家可以直接复制前面命令中扫描发现的结果,以免录入错误),-p 192.168.0.13 参数依然为对方iSCSI 服务端的IP 地址。最后使用--login 或-l 参数进行登录验证。
[root@linuxprobe ~]# iscsiadm -m node -T iqn.2003-01.org.linux-iscsi.linuxprobe. x8664:sn.d497c356ad80 -p 192.168.10.10 --login Logging in to [iface: default, target: iqn.2003-01.org.linux-iscsi.linuxprobe. x8664:sn.d497c356ad80, portal: 192.168.10.10,3260] (multiple) Login to [iface: default, target: iqn.2003-01.org.linux-iscsi.linuxprobe.x8664: sn.d497c356ad80, portal: 192.168.10.10,3260] successful.
在 iSCSI 客户端成功登录之后,会在客户端主机上多出一块名为/dev/sdb 的设备文件.
[root@linuxprobe ~]# file /dev/sdb /dev/sdb: block special
最后就可以挂载并使用了
[root@linuxprobe ~]# mkfs.xfs /dev/sdb log stripe unit (524288 bytes) is too large (maximum is 256KiB) log stripe unit adjusted to 32KiB meta-data=/dev/sdb isize=256 agcount=16, agsize=654720 blks = sectsz=512 attr=2, projid32bit=1 = crc=0 data = bsize=4096 blocks=10475520, imaxpct=25 = sunit=128 swidth=256 blks naming =version 2 bsize=4096 ascii-ci=0 ftype=0 log =internal log bsize=4096 blocks=5120, version=2 = sectsz=512 sunit=8 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0 [root@linuxprobe ~]# mkdir /iscsi [root@linuxprobe ~]# mount /dev/sdb /iscsi [root@linuxprobe ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/rhel-root 18G 3.4G 15G 20% / devtmpfs 734M 0 734M 0% /dev tmpfs 742M 176K 742M 1% /dev/shm tmpfs 742M 8.8M 734M 2% /run tmpfs 742M 0 742M 0% /sys/fs/cgroup /dev/sr0 3.5G 3.5G 0 100% /media/cdrom /dev/sda1 497M 119M 379M 24% /boot /dev/sdb 40G 33M 40G 1% /iscsi
需要提醒大家的是,由于udev 服务是按照系统识别硬盘设备的顺序来命名硬盘设备的,当客户端主机同时使用多个远程存储资源时,如果下一次识别远程设备的顺序发生了变化,则客户端挂载目录中的文件也将随之混乱。为了防止发生这样的问题,我们应该在/etc/fstab 配置文件中使用设备的UUID 唯一标识符进行挂载,这样,不论远程设备资源的识别顺序再怎么变化,系统也能正确找到设备所对应的目录。
blkid 命令用于查看设备的名称、文件系统及UUID。可以使用管道符进行过滤,只显示与/dev/sdb 设备相关的信息:
[root@linuxprobe ~]# blkid | grep /dev/sdb /dev/sdb: UUID="eb9cbf2f-fce8-413a-b770-8b0f243e8ad6" TYPE="xfs"
如果我们不再需要使用iSCSI 共享设备资源了,可以用iscsiadm 命令的-u 参数将其设备卸载:
[root@linuxprobe ~]# iscsiadm -m node -T iqn.2003-01.org.linux-iscsi.linuxprobe. x8664:sn.d497c356ad80 -u Logging out of session [sid: 7, target : iqn.2003-01.org.linux-iscsi.linuxprobe. x8664:sn.d497c356ad80, portal: 192.168.10.10,3260] Logout of [sid: 7, target: iqn.2003-01.org.linux-iscsi.linuxprobe.x8664:sn. d497c356ad80,portal:192.168.10.10,3260] successful.
本文源自:刘遄老师的<Linux就该这么学>一书中的部分章节,内容细致因此收入博文中,便于随时查看