linux 软件raid
软件raid占用cpu资源,性能不是很好,不建议生产使用。
linux内核中 md模块实现软raid。用户不能直接操作md。
md可以将任何块设备(磁盘,分区)组合成raid
mdadm 供用户使用的命令。用户-->mdadm-->md
mdadm是个 模式化的工具,有多个模式,每种模式完成不同的功能。
流行的系统中一般已经将MD驱动模块直接编译到内核中或编译为可动态加载的驱动模块,我们可以在机器启动后通过cat /proc/mdstat看内核是否已经加载MD驱动或者cat /proc/devices是否有md块设备,并且可以使用lsmod看MD是否可以模块加载到系统中.
如果MD驱动被编译到内核中,当内核调用执行MD驱动时,会自动查找分区为FD(linux raid autodetect格式的磁盘或分区。所以一般会使用fdisk工具将HD磁盘或者SD磁盘分区,再设置为FD的磁盘。
、
mdadm [mode] <raidDevice> [options] [component-devices]
mode:工作的具体模式
raidDevice:将要配置的raid设备文件
component-devices:构成raid设备的设备,类似于各块单独的硬盘。
--B、--build:创建或组装不需要元数据的阵列,每个设备没有元数据块
-C 、--create:创建模式,使用空闲的设备创建一个新的阵列,每个设备具有元数据块
-n # 、raid-devices# :构建riaid的基本设备个数
-x # 、--spare-devices # :热备设备个数
-l 级别、--level 级别:指定raid的种类
-a,--auto{=yes,md,mdp,part,p}{NN} :为创建的raid设备文件
-c # 、--chunk #:表示每个条带单元的大小,以KB为单位,默认为64KB,条带单元的大小配置对不同负载下的阵列读写性能有很大影响
mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev/sdb{1,2}
mdadm -C /dev/md1 -a yes -l 1 -n 2 /dev/sdb{3,4}
/proc/mdstat 记录软raid的状态
watch -n# "命令" 每隔#秒运行一下命令
watch -n1 "cat /proc/mdstat" 监视raid的状态,每1秒刷新一下
/etc/mdadm.conf作为默认的配置文件,主要作用是方便跟踪软RAID的配置,尤其是可以配置监视和事件上报选项。Assemble命令也可以使用--config(或者其缩写-c)来指定配置文件。我们通常可以如下命令来建#立配置文件
#echo DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 > /etc/mdadm.conf
#mdadm --detail --scan >> /etc/mdadm.conf
使用配置文件启动阵列时,mdadm会查询配置文件中的设备和阵列内容,然后启动运行所有能运行RAID阵列。如果指定阵列的设备名字,则只启动对应的阵列。
-G、--grow:改变阵列中每个设备被使用的容量或阵列中的设备的数目
-A 、--assemble 装配模式,让内核识别到之前已经做好的raid, 将原来属于一个阵列的每个块设备组装为阵列
主要是检查底层设备的元数据信息,然后再组装为活跃的阵列。如果我们已经知道阵列由那些设备组成,可以指定使用那些设备来启动阵列。
[root@fc5 mdadm-2.6.3]# ./mdadm -A /dev/md0 /dev/sd[b-h]
mdadm: /dev/md0 has been started with 6 drives and 1 spare.
如果有配置文件(/etc/mdadm.conf)可使用命令mdadm -As /dev/md0。mdadm先检查mdadm.conf中的DEVICE信息,然后从每个设备上读取元数据信息,并检查是否和ARRAY信息一致,如果信息一致则启动阵列。
如果没有配置文件 mdadm -A --scan 会扫描每个磁盘和分区,查看超级快,从而发现阵列信息,如果合适,将组装并启动
如果没有配置/etc/mdadm.conf文件,而且又不知道阵列由那些磁盘组成,则可以使用命令--examine(或者其缩写-E)来检测当前的块设备上是否有阵列的元数据信息。
./mdadm -E /dev/sdi 找到阵列的uuid
mdadm -A /dev/md0 uuid=uuid 通过uuid来识别、并加载启动阵列 。这里的/dev/md0可以是别的名字,
来源: <http://blog.csdn.net/yuesichiu/article/details/8502680>
-I、--incremental :添加/移除 一个单独的设备 到/从 一个已存在的阵列上,可能的话还会启动阵列
--auto-detect : 如果md被编译到内核,则通知内核启动所有 auto-detected阵列;如果md作为一个模块,则不具有这个功能。
-F 、--follow 、-- monitor :监控模式Monitor,监控一个或多个阵列,上报指定的事件
可以使用mdadm对RAID阵列进行监控,监控程序定时查询指定的事件是否发生,然后根据配置来妥善处理。例如当阵列中的磁盘设备出现问题的时候,可以发送邮件给管理员;或者当磁盘出现问题的时候由回调程序来进行自动的磁盘替换,所有监控事件都可以记录到系统日志中。目前mdadm支持的事件有RebuildStarted, RebuildNN(NN is 20, 40, 60, or 80), RebuildFinished, Fail,FailSpare,SpareActive,NewArray, DegradedArray, MoveSpare, SparesMissing, TestMessage。
如果配置每300秒mdadm监控进程查询MD设备一次,当阵列出现错误,会发送邮件给指定的用户,执行事件处理的程序并且记录上报的事件到系统的日志文件。使用--daemonise参数(或者其缩写-f)使程序持续在后台运行。如果要发送邮件需要sendmail程序运行,当邮件地址被配置为外网地址应先测试是否能发送出去。
[root@fc5 mdadm-2.6.3]#./mdadm --monitor --mail=root@localhost --program=/root/md.sh
--syslog --delay=300 /dev/md0 --daemonise
--Misc:报告或者修改阵列中相关设备的信息,比如查询阵列或者设备的状态信息
manage:管理模式(默认)管理已经存储阵列中的设备,比如增加热备磁盘或者设置某个磁盘失效,然后从阵列中删除这个磁盘
-f 、--fail 指定损坏的设备 mdadm /dev/md0 -f /dev/sda1
如果有热备盘,则会在指定坏设备后立即顶替上去
-r、 --remove参数将这个磁盘从磁盘阵列中移走;但如果设备还正在被阵列使用,则不能从阵列中移走移除损坏设备 mdadm /dev/md0 -r /dev/sda1
· -a 添加更换新设备 mdadm /dev/md0 -a /dev/sda2
-Q --query 显示阵列的简要信息
mdadm -q /dev/md0
-D,--detail 显示阵列的详细信息
mdadm -D /dev/md0
-S 停止某个阵列(停止前需要先卸载)
mdadm -S /dev/md1
查询阵列的状态
我们可以通过cat /proc/mdstat信息查看所有运行的RAID阵列的状态,在第一行中首先是MD的设备名,active和inactive选项表示阵列是否能读写,接着是阵列的RAID级别,后面是属于阵列的块设备,方括号[]里的数字表示设备在阵列中的序号,(S)表示其是热备盘,(F)表示这个磁盘是faulty状态。在第二行中首先是阵列的大小,单位是KB,接着是chunk-size的大小,然后是layout类型,不同RAID级别的layout类型不同,[6/6]和[UUUUUU]表示阵列有6个磁盘并且6个磁盘都是正常运行的,而[5/6]和[_UUUUU] 表示阵列有6个磁盘中5个都是正常运行的,下划线对应的那个位置的磁盘是faulty状态的。
[root@fc5 mdadm-2.6.3]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [raid1]
md0 : active raid5 sdh[6](S) sdg[5] sdf[4] sde[3] sdd[2] sdc[1] sdb[0]
5242560 blocks level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
unused devices:
小结:
1.mdadm -C 创建一个新的阵列并启用。
这个操作将引起一些变化: 生成新的设备文件和目录:
I: 生成 /dev/mdx 这个设备文件将在阵列信息查询、阵列控制和阵列挂载时使用
II 生成/dev/md/md-device-map 这个文件中记录mdx的名字、版本号、uuid、路径
III 在文件 /proc/mdstat /proc/partitions 中做记录
2.mdadm -S 停用阵列,将引起以下变化
删除设备文件 /dev/mdx
清空记录 /dev/md/md-device-map
删除 /proc/mdstat /proc/partitions 中的记录
3.mdadms -A 启用之前曾做好的阵列,将引起以下变化
识别并生成设备文件 和记录文件,设备文件名可以指定新的,也可以默认是识别到的
/dev/mdx 这个设备文件将在阵列信息查询、阵列控制和阵列挂载时使用
/dev/md/md-device-map 这个文件中记录mdx的名字、版本号、uuid、路径 。如果之前曾做过或已经有阵列在运行,则这个文件应该已经存在了。
在文件 /proc/mdstat /proc/partitions 中做记录
mdadms -A --scan 先查找配置文件,如果有,就按照配置文件的记录来识别启动阵列;否则将扫描每个磁盘和分区的super-block来设别阵列,如果设别到就启动
4.启动磁盘这列后可以rm掉 /dev/mdx 和 /dev/md/md-device-map,但是这样做会影响到使用到 /dev/mdx 的所有操作(除了卸载,卸载参考的是/etc/mtab);对于已经挂载的,可以正常使用。
针对这种情况,可以重新生成阵列图。 mdadm -Ir 或者 重新识别mdadm -As (重新识别时,对于已经在用的阵列设备将跳过)