在SAN存储系统中,LIO是把存储设备直接转化为可用存储资源的高效工具,它实现了基于文件/块设备/ramdisk甚至回环设备创建存储设备的iscsi target接口和CLI。 通过iSCSI initiator访问iSCSI target 的典型应用场景和联接如下图所示意:
上图非常直观地显示了基于ram、/dev/下的设备以及文件,创建iSCSI target的数据流。如果更深入地再往下看,可以看到它和底层文件系统、卷管理的接口如下所示:
厘清了iSCSI的应用模式和软件层次后,就不难理解如何创建iscsi target 设备了,并且也会理解为何
在数据传输之前,需要iscsi initiator 和iscsi target 设备建立起连接了。
下面通过具体的命令,举例说明在linux操作系统里面如何创建iscsi target、建立iscsi链接和使用iscsi资源。首先需要在存储资源所挂载的机器上用targetcli创建 target:
[root@localhost]# targetcli /backstores/block create my_ssd /dev/disk/by-id/wwn-0x55cd2e404b7b8ced-part5
\Created block storage object my_ssd using /dev/disk/by-id/wwn-0x55cd2e404b7b8ced-part5.
[root@localhost]# targetcli /iscsi create
Created target iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.
[root@localhost]# targetcli /iscsi/iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120/tpg1/luns create /backstores/block/my_ssd
Created LUN 0.
You have new mail in /var/spool/mail/root
[root@localhost]# targetcli /iscsi/iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120/tpg1 set attribute authentication=0 demo_mode_write_protect=0 generate_node_acls=1
Parameter authentication is now '0'.
Parameter demo_mode_write_protect is now '0'.
Parameter generate_node_acls is now '1'.
[root@localhost]# targetcli saveconfig myssd.config
Configuration saved to myssd.config
上面命令还把当前配置保存到文件myssd.config当中去,机器重启后,还可以从这个文件
恢复到当前设置,这样就可以避免需要重新输入上面的命令:
[root@localhost]# targetcli clearconfig confirm=True
All configuration cleared
如果上面没有制定文件名,默认会保存到/etc/target/saveconfig.json文件当中去。
[root@localhost]# targetcli restoreconfig myssd.config
接着需要在initiator 端连接到target 端,先探测有没有iscsi能被找到,如果找到自动连接上去:
[root@localhost PlxSdk]# iscsiadm -m discovery -t st -p 10.10.2.33 -l
Logging in to [iface: default, target: iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120, portal: 10.10.2.33,3260] (multiple)
Login to [iface: default, target: iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120, portal: 10.10.2.33,3260] successful.
这时能从/dev设备下看到多出一个设备:
lrwxrwxrwx. 1 root root 9 Jun 20 20:19 ip-10.10.2.33:3260-iscsi-iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120-lun-0 -> ../../sdr
这就证明iscsi target已经映射到了initiator /dev/sdr这个设备上,在initiator端对/dev/sdr进行读写访问,就相当于往远端的10.10.2.33机器上的/dev/disk/by-id/wwn-0x55cd2e404b7b8ced-part5进行读写。
当然,使用完了之后,可以用下面的命令断开连接:
[root@localhost PlxSdk]# iscsiadm -m session -u
Logging out of session [sid: 1, target: iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.b5928f6012db, portal: 10.10.2.33,3260]
Logging out of session [sid: 2, target: iqn.2003-01.org.linux-iscsi.localhost.x8664:sn.beb1fd396120, portal: 10.10.2.33,3260]
最后运行测试程序,下面以vdbench 为例,开始测试:
[root@localhost vdbench]# cat ssd_param && ./vdbench -f ssd_param -k -o ssd_vdbench.out
sd=sd2,lun=/dev/sdr,openflags=o_direct,size=500m,threads=24
wd=wd1,xfersize=4k,rdpct=0,seekpct=100
rd=rd1,wd=wd1,sd=*,iorate=max,elapsed=5,interval=1,warmup=5,threads=24
Vdbench distribution: vdbench504
For documentation, see 'vdbench.pdf'.
20:25:40.991 Created output directory '/home/vdbench_qichao/ssd_vdbench.out'
20:25:41.021 input argument scanned: '-fssd_param'
20:25:41.021 input argument scanned: '-k'
20:25:41.021 input argument scanned: '-ossd_vdbench.out'
20:25:41.153 Starting slave: /home/vdbench/vdbench SlaveJvm -m localhost -n localhost-10-160620-20.25.40.968 -l localhost-0 -p 5570
20:25:41.627 All slaves are now connected
20:25:43.001 Starting RD=rd1; I/O rate: Uncontrolled MAX; elapsed=5 warmup=5; For loops: threads=24
20:25:54.068 Vdbench execution completed successfully. Output directory: /home/vdbench/ssd_vdbench.out
参考文档和链接:
http://linux-iscsi.org/wiki/Targetcli
http://www.linux-iscsi.org/Doc/LIO%20Admin%20Manual.pdf