0x00 前言简述
描述: 最近业务需要需要将原本装有VMware vSphere的机器直接安装Ubuntu 20.04 TLS,并通过SAS线缆从DELL Storage SCv 2020链接我们的UBUNTU 物理主机上进行SCSI磁盘的挂载共享使用，以下是一些简单的说明;
TIPS: DELL Storage SCV2000 / SCv 2020 使用Fibre Channal 或者 iSCSI 存储系统时候建议通过FC SAN 网络进行数据传输,此处我们还是以我们现存的硬件设备进行连接通过SAS线缆链接到服务器上的HBA卡(主机总线适配器)中;
- 戴尔SCv2000是一款容易上手的入门级存储系统，其向导式图形界面、智能、自动化、简捷操作和可靠性保障都给我们留下了不错的印象，它是Compellent家族血统的智能存储。
技术规格:
SCv2000：最多 12 个 3.5 英寸 SAS 热插拔硬盘驱动器 (6.0 Gbps) 水平安装
SCv2020：最多 24 个 2.5 英寸 SAS 热插拔硬盘驱动器 (6.0 Gbps) 垂直安装
- 2.存储控制器: 最多两个具有以下 I/O 选项的热插拔存储控制器
• 两个 16 Gbps Fibre Channel 端口
• 四个 8 Gbps Fibre Channel 端口
• 两个 10 Gbps iSCSI 端口
• 四个 1 Gbps iSCSI 端口
• 四个 12 Gbps SAS 端口
- 3.存储连接配置:Storage Center 在一个冗余路径 SAS 链中支持多达 168 个驱动器
• SCv2000 支持最多 13 个 SC100 扩展柜或 6 个 SC120 扩展柜
• SCv2020 支持最多 12 个 SC100 扩展柜或 6 个 SC120 扩展柜
- 4.独立磁盘冗余阵列 (RAID): 两个热插拔存储控制器,管理 RAID 管理使用 Dell Storage Client 2015 R1;
- 5.背面板端口连接器（每个存储控制器）: Fibre Channel、iSCSI 或SAS 连接器 连接至 Fiber Channel 光纤、iSCSI 网络或直接连接至
具有 SAS HBA 的服务器;
# 以太网连接器
* MGMT：10 Mbps、100 Mbps 或 1 Gbps 嵌入式以太网端口，用于 StorageCenter 管理
* REPL：10 Mbps、100 Mbps 或 1 Gbps 嵌入式 iSCSI 端口，用于复制到另一个Storage Center
# SAS 连接器
6 Gbps SAS 连接器，用于 SAS 端口冗余和附加扩展柜
注: SAS 连接器符合 SFF-8086/SFF-8088 标准
# USB 连接器
一个 USB 3.0 连接器，用于 Storage Center 更新
# 串行连接器
工程师使用
# 前面板
• 一个双色 LED 指示灯，用于显示系统状态。
• 一个单色 LED 指示灯，用于显示电源状态。
• 两个数字式七段显示屏，用于显示存储系统 ID 号
• 带单色 LED 指示灯的 ID 按钮，用于显示启动和按下状态
# 硬盘驱动器托架
• 一个单色活动 LED
• 每个驱动器具有一个单色 LED 状态指示灯
# 存储控制器
• 每个以太网端口有两个单色 LED，用于表示活动和链路速度(`左链右活`)
• 每个 SAS 连接器有四个双色 LED，用于表示端口活动和状态
• 一个表示状态的单色 LED
• 一个表示故障的单色 LED
• 一个用于标识的单色 LED
• 八个用于诊断的单色 LED
# 电源设备/散热风扇
四个 LED 状态指示灯，用于表示电源设备状态、交流故障状态、直流故障状态和风扇故障状态
- 7.可用的硬盘驱动器功率（每个插槽）：支持的硬盘驱动器的功耗（连续）
+5 V 时最多为 1.2 A
+12 V 时最多为 0.5 A
功率 580 W（最大功率：584 W）
电压 100–240 VAC (7.6–3.0 A)
散热量 SCv2000：在 230 VAC 时为 65 W，在 115 VAC 时为 99 W
SCv2020：在 230 VAC 时为 65 W，在 115 VAC 时为 99 W
最大涌入电流 在典型的线路环境下和整个系统环境工作范围内，每个电源设备在 40 毫秒或更
短时间内的涌入电流可达 45 A
0x01 现场实施
设备上架
前端布线:
是指连接存储系统与主机服务器,可通过Fibre Channael / iSCSI 或者 SAS 接口进行连接, 而存储系统可连接到Switch或者主机服务器(需要HBA支持)具体如何使用取决于前端端口类型;
- 1.使用
Fibre Channael前端端口连接一台或者多台FC交换机然后再则连接至一台或多台主机服务器; - 2.使用
iSCSI前端端口的存储系统连接至一台或多台以太网交换机，以太网交换机则连接至一台或多台主机服务器。 - 3.使用
SAS前端接口的存储系统直接连接至一台或多台主机服务器。
注意：每个存储控制器上的MGMT端口连接到管理端口以太网,此时这样可以管理网络和配置Storage Center;
主机布线: 顶左底右
- 1.SAN 连接的主机服务器布线(
Fibre Channel 或 iSCSI 前端端口)
1.将每台主机服务器连接至交换机。
2. 将容错域 1 连接至交换机 1。(正好交叉)
a. 将电缆从存储控制器 1：端口 1 连接至交换机 1。
b. 将电缆从存储控制器 2：端口 1 连接至交换机 1。
c. （仅四端口 I/O 卡）将电缆从存储控制器 1：端口 3 连接至交换机 1。
d. （仅四端口 I/O 卡）将电缆从存储控制器 2：端口 3 连接至交换机 1。
3. 将容错域 2 连接至交换机 2。
a. 将电缆从存储控制器 1：端口 2 连接至交换机 2。
b. 将电缆从存储控制器 2：端口 2 连接至交换机 2。
c. （仅四端口 I/O 卡）将电缆从 存储控制器 1：端口 4 连接至交换机 2。
d. （仅四端口 I/O 卡）将电缆从 存储控制器 2：端口 4 连接至交换机 2。
1. 将容错域 1 连接至主机服务器 1。
a. 将 SAS 电缆从存储控制器 1：端口 1 连接至服务器 1。
b. 将 SAS 电缆从存储控制器 2：端口 1 连接至服务器 1。
2. 将容错域 2 连接至主机服务器 2。
a. 将 SAS 电缆从存储控制器 1：端口 2 连接至服务器 2。
b. 将 SAS 电缆从存储控制器 2：端口 2 连接至服务器 2。
3. 将容错域 3 连接至主机服务器 3。
a. 将 SAS 电缆从存储控制器 1：端口 3 连接至服务器 3。
b. 将 SAS 电缆从存储控制器 2：端口 3 连接至服务器 3。
4. 将容错域 4 连接至主机服务器 4。
a. 将 SAS 电缆从存储控制器 1：端口 4 连接至服务器 4。
b. 将 SAS 电缆从存储控制器 2：端口 4 连接至服务器 4。
注意事项: 顶部的存储控制器为存储控制器 1(前端端口从左至右编号)。底部的存储控制器为存储控制器(2.前端端口从右至左编号)即顶左底右。
扩展布线:
描述:SCv2000/SCv2020 存储系统支持多个 SC100/SC120 扩展柜。使用 SAS 电缆将 SC100/SC120 扩展柜连接至 SCv2000/SCv2020 存储系统。
顶: A --> A / B --> A
底: A --> A / B --> A
顶: B --> 底: B Last
底: B --> 顶: B Last
管理布线:
描述:每个存储控制器的以太网管理 (MGMT) 接口必须连接至管理网络,注:顶部的存储控制器为存储控制器 1，底部的存储控制器为存储控制器 2。
电源选择
选择相应的不间断电源设备 (UPS)和备用电源设备 (SBS) 组件，确保仅将洁净电力提供给 Storage Center，且系统在电涌和断电时受到保护,不同级别的可用 UPS/SBS 保护如下：
• 在线式 UPS
• 线路交互式 SBS
• 离线式 SBS
注意:这些 UPS/SBS 类型中的每一种在加载至完全输出容量时，通常都提供 5-15 分钟的备用电池时间。通过超额 UPS/SBS 的额
定值也许可延长备用时间。
开启存储
描述: 在机架中布置存储系统的所有组件并进行布线后，开启 Storage Center, 同时按住两个电源开关（置为O），开启存储系统
注: 在开启主机服务器之前，请确保存储系统前面的状态指示灯显示蓝色。
0x02 安装和使用 Dell Storage Client
描述:Dell Storage Client 配置、管理和监测 SCv2000/SCv2020 存储系统。
官网下载地址: https://www.dell.com/support/home/zh-cn/product-support/product/storage-sc2000/drivers
当前版本: 2019 R1.20
DELL Storage Manager 简介
描述: Storage Manager 可用于通过集中式管理控制台监控、管理和分析 Storage Center SAN、FluidFS 群集和Fluid Cache 群集。
其
包含以下组件:
- 主要 Storage Manager Data Collector
- Dell Storage Manager 客户端
- Dell Storage Manager Web UI
- 远程 Storage Manager Data Collector
- Storage Manager Server Agent
注释:Storage Manager 使用的默认端口使用网络连接相互通信并与其他网络资源通信。
下表列出了Storage Manager Data Collector、Dell Storage Manager 客户端 和 Storage Manager Server Agent 使用的默认网络端口。
|入站|
端口
| 协议
| 名称
| 用途
|
514
| UDP
| 系统日志
| 接收从 Storage Center SAN 转发的日志
|
3033
| TCP
| Web 服务器端口
| 接收来自所有客户端的通信,来自 FluidFS 群集的警报,来自 Fluid Cache 群集的警报
|
7342
| TCP
| 传统客户端侦听器端口
| 与远程 Data Collector 通信
|
5988
| TCP
| HTTP 上的 SMI-S
| 接收未加密的 SMI-S 通信
|
5989
| TCP
| HTTPS 上的 SMI-S
| 接收加密的 SMI-S 通信
|
|出站|
端口
| 协议
| 名称
| 用途
|
25
| TCP
| SMTP
| 发送电子邮件通知
|
443
| TCP
| SSL
| 与受管 Storage Center SAN 通信使用 Dell SupportAssist 发送诊断数据
|
514
| UDP
| 系统日志
| 将 Storage Center 日志转发给系统日志服务器
|
1199
| TCP
| SIMS RMI
| 与受管 PS 系列组通信
|
1433
| TCP
| Microsoft SQLServer
| 连接到外部 Microsoft SQL Server 数据库
|
3033
| TCP
| SSL
| 与受管 Storage Center SAN 通信
|
3306
| TCP
| MySQL
| 连接到外部 MySQL 数据库
|
6774
| TCP
| Fluid Cache
| 与 Fluid Cache 服务器通信
|
8080
| TCP
| VMware SDK
| 与 VMware 服务器通信
|
27355
| TCP
| Server Agent 套接字侦听端口
| Storage Manager Server Agent 通信
|
35451
| TCP
| FluidFS
| 与受管的 FluidFS 群集通信
|
44421
| TCP
| FluidFS 诊断
| 检索来自受管的 FluidFS 群集的诊断
|
DELL Storage Client 安装
1.下载并安装载 Dell Enterprise Manager 软件(Enterprise Manager Client)需注意安装软件服务器必须在同一子网下;
2.双击 Enterprise Manager Client 快捷键以启动软件随即出现 Dell Storage Client 欢迎屏幕。
3.根据需要选择如下:
- 初始化：查找和配置未初始化的 SCv2000 系列 Storage Center;
- 管理: 击登录到 Storage Center 或 Data Collector 链接连接至已初始化的 SCv2000/SCv2020 存储系统;
- 优化: 设置此主机以访问 Storage Center 链接: 要设置主机服务器以访问 Storage Center 并配置执行 IO 的最佳做法;
- 4.登陆后可查看摘要选项卡(存储了磁盘以及各个硬件设备的健康状态)
- 5.创建卷时SCv 20000支持的几大系统差异，切换到存储卷右键点击卷->创建卷->卷标识设置->卷容量设置->选择映射服务器（如果没有则需要创建服务器）-> 设置名称以及操作系统;
# Novell SUSE Linux
- 11
- 12
# Other (FC-SAN)使用
- Other Multipath
- Other Singlepath
# Red hat Liunx
- 5.x
- 6.x
- 7.x
# Vmware
- ESXI 5.X 6.0
# Windows
- 2008 Hype-V/MPIO
- 2012 Hype-V/MPIO
# XenServer
- 6.x MPIO
- 7.x MPIO
DELL Storage卷创建与映射
描述:登陆后切换到存储选项卡之中进行卷与主机的创建并绑定;
资源分配规划:
# App 分配 1.2T
# Log 分配 1T
# 分别映射给216、217、218三台主机
操作流程:
Step 1. 为了方便管理创建卷文件夹、以及创建对应的卷Application、Log分配1T等;
Step 2. 根据使用场景创建主机、并将创建的Lun 卷映射给该主机;
Step 3. 主机在不重启的情况下刷新scsi驱动加载分配的卷导致本地服务器中;
# 0.首先确定操作系统有木有识别到HBA卡的驱动
$lspci | grep "SAS"
# 01:00.0 RAID bus controller: Broadcom / LSI MegaRAID SAS-3 3108 [Invader] (rev 02)
# 04:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 (rev 02)
$modprobe -c |grep mpt3sas
# alias mpt2sas mpt3sas
# alias pci:v00001000d00000064sv*sd*bc*sc*i* mpt3sas
# .......
# alias pci:v00001000d000002B1sv*sd*bc*sc*i* mpt3sas
# 1.执行scsi主机扫描添加Lun卷存储到本地(扫描所有)
for i in /sys/class/scsi_host/*; do echo "- - -" > $i/scan; done
# 或者找到总线编号，然后再根据得到的编号进行扫描SCSI总线;
$grep mpt /sys/class/scsi_host/host?/proc_name
/sys/class/scsi_host/host1/proc_name:mpt3sas
$echo "- - -" > /sys/class/scsi_host/host1/scan # 扫描单个
# 2.或者扫描查看系统中所有的SCSI目标设备
$sudo rescan-scsi-bus.sh
Scanning SCSI subsystem for new devices
Scanning host 0 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning for device 0 2 0 0 ... # 此处是系统自带的RAID卡
OLD: Host: scsi0 Channel: 02 Id: 00 Lun: 00
Vendor: DELL Model: PERC H730 Mini Rev: 4.27
Type: Direct-Access ANSI SCSI revision: 05
Scanning host 1 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning for device 1 0 1 1 ... # 此处是存储中创建的的两个Lun组，而Lun组便于识别存储分配的卷;
OLD: Host: scsi1 Channel: 00 Id: 01 Lun: 01
Vendor: COMPELNT Model: Compellent Vol Rev: 0701
Type: Direct-Access ANSI SCSI revision: 05
Scanning for device 1 0 1 2 ... # 关键点 添加删除scsi设备都需要此码
OLD: Host: scsi1 Channel: 00 Id: 01 Lun: 02
Vendor: COMPELNT Model: Compellent Vol Rev: 0701
Type: Direct-Access ANSI SCSI revision: 05
Scanning for device 1 0 2 1 ...
OLD: Host: scsi1 Channel: 00 Id: 02 Lun: 01
Vendor: COMPELNT Model: Compellent Vol Rev: 0701
Type: Direct-Access ANSI SCSI revision: 05
Scanning for device 1 0 2 2 ...
OLD: Host: scsi1 Channel: 00 Id: 02 Lun: 02
Vendor: COMPELNT Model: Compellent Vol Rev: 0701
Type: Direct-Access ANSI SCSI revision: 05
Scanning host 2 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 3 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 4 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 5 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 6 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 7 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 8 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 9 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 10 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning host 11 for SCSI target IDs 0 1 2 3 4 5 6 7, all LUNs
Scanning for device 11 0 0 0 ...
OLD: Host: scsi11 Channel: 00 Id: 00 Lun: 00
Vendor: PLDS Model: DVD+-RW DU-8A5LH Rev: 6D51
Type: CD-ROM ANSI SCSI revision: 05
.0 new or changed device(s) found.
0 remapped or resized device(s) found.
0 device(s) removed.
# 查看主机SAS接口
weiyigeek@ubuntu:~$ ls -l /sys/class/sas_host/
lrwxrwxrwx 1 root root 0 Sep 4 18:03 host1 -> ../../devices/pci0000:00/0000:00:02.0/0000:04:00.0/host5/sas_host/host5
weiyigeek@ubuntu:~$ ls -l /sys/class/sas_host/host1/
device/ power/ subsystem/ uevent
# 3.查看添加的Lun卷
sudo fdisk -l | grep "/dev"
Disk /dev/sdd: 1.2 TiB, 1319413953024 bytes, 2576980377 sectors
Disk /dev/sde: 1 TiB, 1099511627776 bytes, 2147483648 sectors
Disk /dev/mapper/k8sapp: 1.2 TiB, 1319413953024 bytes, 2576980377 sectors
Disk /dev/mapper/k8slog: 1 TiB, 1099511627776 bytes, 2147483648 sectors
# 4.获取scsi磁盘的WWID以及编辑多路径配置设置多路径别名
$cat /etc/multipath/wwids
/36000d3100366e6000000000000000021/
/36000d3100366e6000000000000000020/
$cat /etc/multipath.conf
blacklist {
devnode "^sda"
devnode "^hd[a-z]"
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^dcssblk[0-9]*"
}
defaults {
user_friendly_names yes
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
multipaths {
multipath {
wwid "36000d3100366e6000000000000000021"
alias k8sapp
}
multipath {
wwid "36000d3100366e6000000000000000020"
alias k8slog
}
}
# 5.初始化多路径的存储设备
systemctl enable multipathd
service multipathd restart # 启动服务
modprobe dm-multipath # 系统加载DM模块
modprobe dm-round-robin
multipath -F # 格式化
multipath -v2 # 创建别名
# create: k8sapp (36000d3100366e6000000000000000021) undef COMPELNT,Compellent Vol
# size=1.2T features='1 queue_if_no_path' hwhandler='1 alua' wp=undef
# `-+- policy='service-time 0' prio=25 status=undef
# |- 5:0:0:1 sdb 8:16 undef ready running
# `- 5:0:1:1 sdd 8:48 undef ready running
# create: k8slog (36000d3100366e6000000000000000020) undef COMPELNT,Compellent Vol
# size=1.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=undef
# `-+- policy='service-time 0' prio=25 status=undef
# |- 5:0:0:2 sdc 8:32 undef ready running
# `- 5:0:1:2 sde 8:64 undef ready running
multipath -ll # 格式化路径，检测路径，合并路径
# k8slog (36000d3100366e6000000000000000020) dm-1 COMPELNT,Compellent Vol
# size=1.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
# `-+- policy='service-time 0' prio=25 status=active
# |- 5:0:0:2 sdc 8:32 failed ready running
# `- 5:0:1:2 sde 8:64 active ready running
# k8sapp (36000d3100366e6000000000000000021) dm-0 COMPELNT,Compellent Vol
# size=1.2T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
# `-+- policy='service-time 0' prio=25 status=active
# |- 5:0:0:1 sdb 8:16 failed ready running
# `- 5:0:1:1 sdd 8:48 active ready running
multipath -r # 修改multipath.conf配置文件之后重新加载
# 6.格式化分区(数据统统没得)并进行挂载磁盘
$mkfs.xfs /dev/mapper/k8sapp
# meta-data=/dev/mapper/k8sapp isize=512 agcount=32, agsize=10066432 blks
# = sectsz=4096 attr=2, projid32bit=1
# = crc=1 finobt=1, sparse=1, rmapbt=0
# = reflink=1
# data = bsize=4096 blocks=322122547, imaxpct=5
# = sunit=512 swidth=512 blks
# naming =version 2 bsize=4096 ascii-ci=0, ftype=1
# log =internal log bsize=4096 blocks=157286, version=2
# = sectsz=4096 sunit=1 blks, lazy-count=1
# realtime =none extsz=4096 blocks=0, rtextents=0
mkfs.xfs /dev/mapper/k8slog
# meta-data=/dev/mapper/k8slog isize=512 agcount=32, agsize=8388608 blks
# = sectsz=4096 attr=2, projid32bit=1
# = crc=1 finobt=1, sparse=1, rmapbt=0
# = reflink=1
# data = bsize=4096 blocks=268435456, imaxpct=5
# = sunit=512 swidth=512 blks
# naming =version 2 bsize=4096 ascii-ci=0, ftype=1
# log =internal log bsize=4096 blocks=131072, version=2
# = sectsz=4096 sunit=1 blks, lazy-count=1
# realtime =none extsz=4096 blocks=0, rtextents=0
# 7.创建挂载目录
mkdir -p /mnt/nfs/{k8sapp,k8slog}
# 建议根据uuid进行挂载
ls -alh /dev/disk/by-uuid/
# k8slog (36000d3100366e6000000000000000020) dm-1
lrwxrwxrwx 1 root root 10 Sep 10 14:59 9d3738eb-335e-4f2e-9a6b-80d0d2c35419 -> ../../dm-1
# k8sapp (36000d3100366e6000000000000000021) dm-0
lrwxrwxrwx 1 root root 10 Sep 10 14:59 adaeed81-e7a6-4692-9166-37cc64db234c -> ../../dm-0
# 修改/etc/fstab 文件增加如下:
# k8sapp
/dev/disk/by-uuid/adaeed81-e7a6-4692-9166-37cc64db234c /mnt/nfs/k8sapp xfs defaults 0 0
# k8slog
/dev/disk/by-uuid/9d3738eb-335e-4f2e-9a6b-80d0d2c35419 /mnt/nfs/k8slog xfs defaults 0 0
# 重新挂载/etc/fstab中配置定义的所有设备到指定目录
mount -a
# 8.查看系统中的挂载
$df -h
Filesystem Size Used Avail Use% Mounted on
udev 32G 0 32G 0% /dev
tmpfs 6.3G 2.5M 6.3G 1% /run
/dev/sda2 500G 15G 486G 3% /
tmpfs 32G 0 32G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/loop0 56M 56M 0 100% /snap/core18/1885
/dev/loop2 30M 30M 0 100% /snap/snapd/8542
/dev/loop1 72M 72M 0 100% /snap/lxd/16099
/dev/loop3 71M 71M 0 100% /snap/lxd/16922
/dev/loop5 30M 30M 0 100% /snap/snapd/8790
/dev/sda3 4.0G 257M 3.8G 7% /boot
/dev/loop4 55M 55M 0 100% /snap/core18/1880
/dev/sda5 600G 4.3G 596G 1% /home
tmpfs 6.3G 0 6.3G 0% /run/user/1000
/dev/mapper/k8sapp 1.2T 8.6G 1.2T 1% /mnt/nfs/k8sapp
/dev/mapper/k8slog 1.0T 7.2G 1017G 1% /mnt/nfs/k8slog
root@weiyigeek-ubuntu:~#
# 9.物理卸载已挂载的scsi设备利用 rescan-scsi-bus.sh 所得设备值
Scanning for device 1 0 1 2
echo "scsi add-single-device 1 0 1 2" > /proc/scsi/scsi
注意事项:
- (0) 该存储默认是采用精简模式(即使用多就占用多少空间)
- (1) 从本地服务器创建主机的先决条件
- (2) 使用多路径进行聚会链路磁盘挂载scsi磁盘时候需要查看系统中是否安装多路径软件，一般的在
CentOS7/Redhat/Ubuntu 20.04 默认自带,如果没有请按照以下流程安装;
# Redhat / CentOS (安装与开机自启)
yum install device-mapper-multipath
systemctl enable multipathd
#chkconfig --level 2345 multipathd on # Deprecated(新版本启用)
systemctl start multipathd || service multipathd start
# Ubuntu 20.04
apt install multipath-tools
systemctl enable multipathd && systemctl start multipathd
systemctl status multipathd
# ● multipathd.service - Device-Mapper Multipath Device Controller
# Loaded: loaded (/lib/systemd/system/multipathd.service; enabled; vendor preset: enabled)
# Active: active (running) since Fri 2020-09-11 08:40:22 UTC; 1 day 4h ago
# TriggeredBy: ● multipathd.socket
# Process: 761 ExecStartPre=/sbin/modprobe -a scsi_dh_alua scsi_dh_emc scsi_dh_rdac dm-multipath (code=exited, status=0/SU>
0x03 补充说明
1.RAID分层快照
注：Replay即戴尔SC系列的快照功能默认的Replay快照配置文件是“Daily”（每天一次）。
“服务器 - 操作系统”一项可以选择默认的主机连接路径优化策略，初始设置“Other Singlepath”应该是兼容性最好也最保守的。
RAID分层的目的:节约容量而不牺牲性能.
熟悉企业存储的朋友应该都知道，RAID 5/6由于写惩罚较大因而随机写性能偏低；RAID 10性能均衡但空间浪费率较多。一般存储产品只能在二者之间取舍，无法两全齐美，而戴尔SC的RAID分层则比较好地解决了这个问题。
- 针对Windows文件系统和微软应用程序，戴尔SC系列的Replay Manager是通过调用
VSS（卷影副本）来实现一致性快照的。 - 针对VMware的版本以及专为Oracle设计的APM（应用保护管理器），可以有效实现对虚拟机、数据库的快照保护。
我们在测试中创建了一个1024GB的卷，采用的存储配置文件为“Balanced”跨RAID级别分层,SCv2000底层空间完全虚拟化打散为2MB页面（数据块）;
根据这个统计信息，我们写入的大约68MB数据在RAID 10-DM分层占用了3倍的物理磁盘空间，RAID开销为66.6%。正如上一篇中提到过的——“由于这台机器是5块2TB硬盘，高性能分层没有用传统的单镜像盘RAID 10，而是双重镜像的RAID 10-DM（相当于3副本），就是为了避免Rebuild时间窗口内双盘故障的风险”。
我们手动创建一个Replay快照，这是触发Data Progression RAID分层的前提,在“创建Replay”的对话框中，可以选择快照过期时间、描述，以及是否立即“从Replay创建卷”——也就是利用快照时间点数据状态生成一个依赖指针的“虚拟”卷;
在跨RAID级别分层中的数据一旦被快照冻结，就意味着“需要重新平衡”。这里面遵循的一个重要原则，就是目标RAID级别—— RAID 6的读性能不比RAID 10（DM）差，却能够显著节约容量。而这种分层的前提机制，是 一直将数据写入到高性能分层，无论写入新的逻辑数据块还是覆盖已有数据的块都以RAID 10（DM）形式存放，所以写性能也不会因此而受到影响。
戴尔SCv2000将驱动器划分成2MB条带，并以此为单位创建RAID。除了SC9000、8000和SC4020等中高端型号支持在 不同驱动器（多种SSD、HDD）之间的自动分层之外，Data Progression于相同性能驱动器的层级内部，还可以做 不同RAID级别之间的转换。这也是Compellent家族存储的一个重要特色。
经过重新平衡之后，我们看到原有的“活动空间”已经都转换为RAID 6-10（8+2）级别，同时RAID开销下降为20%。这里还给出了“总磁盘空间”相对RAID 10 DM节省了11.62GB。
创建Replay之后，如果向卷内继续写入数据，无论到新的数据块还是覆盖原有块的内容，都会以RAID 10 DM级别存放（如下图）。RAID 6中的快照数据将保持不变，直至生成新的Replay，并到达下一次Data Progression数据迁移周期。
结语
RAID分层和Replay快照是戴尔 SCv2000比较有特色的两大功能，在入门级SAN阵列的价位上，并不是所有产品都具备这些智能特性。而更重要的是，用好这些功能并不难，它们可以帮助用户有效降低TCO并发挥更大的价值，重新定义存储的经济性。
0x04 入坑与出坑
1.存储驱动器异常指示灯
描述:Dell Enterprise 硬盘驱动器 (HDD) 和 Enterprise 固态驱动器 (eSSD) 是可以安装在 SCv2000/SCv2020 存储系统中的唯一驱动器(左亮绿右灭是正常)。
2.集群共享卷Lun组块存储并不支持网络文件系统同步共享
描述: 由于FC/SAS接口连接的主机映射到系统中都将变成块设备而并非是文件系统，在Dell Storage SCv2000中创建的是块设备存储，在加入服务器集群中可以映射同一块存储, 虽然可以同时读但是却不能同时写，如果同时写则会导致磁盘的逻辑结果被破坏，从而不能正常使用;
问题原因: 由于SAN提供的共享磁盘是块存储不是文件系统，这将会产生一个问题即磁盘空间分配不一致；假若一个共享磁盘挂载到多个节点上时，文件系统会加载FAT到每一个节点内存中，当其中一个节点开始在此文件系统进行写操作时候，此节点上的文件系统将会查询FAT和可用block，然后分配使用并进行修改但是不会修改其它节点上的FAT; 所以此时如果其它节点也尝试写文件时候，将会分配与之前相关的block供起使用，因为它并不知道此Block已被另外一个节点占用了;
