RAID设备及mdadm命令
涉及到的命令：
mdadm、watch
RAID redundant arrays inexpensive disks 廉价冗余磁盘阵列
后来改名为：redundant arrays independent disks 独立冗余磁盘阵列
======================理论部分=====================
从两个方面考虑：
性能：将I/O分散至多个设备
冗余：将同一数据存放在至少两个硬盘上
RAID级别：（仅用于表明其组合方式不同）
RAID0：条带卷
至少需要2块硬盘，使用率100%，将数据分散在各个硬盘中，读写性能均有提升（但不是越多越好，性能有拐点，呈抛物线状），无冗余能力
RAID1：镜像卷
写性能有所下降，读性能有所提升，使用空间是50%，成对硬盘出现（至少2个），有冗余能力
RAID4
至少需要3块硬盘，数据分散在不同的硬盘中，其中一块硬盘存放数据异或运算校验码，有冗余能力，但至多坏一块，空间：(N-1)*DISK，读写均有提升
RAID5
数据异或运算校验码分散在不同的磁盘中，相比较RAID4而言，不需要专门的校验盘，读写能力提升，有冗余能力，但至多坏一块硬盘，空间(N-1)*DISK，至少需要3块硬盘，RAID4中有独立的校验盘，每次读取数据都会用到，所以使用比较频繁，损坏的可能性就大大增加，RAID5把校验码分散在不同的磁盘中，这样就能分散开访问频率
RAID6
至少4块盘，两块数据盘两块校验盘，至多允许坏2块，读写性能提升，有冗余能力，空间(N-2)*DISK
常见的组合方式
RAID10（常用）
先组成raid1镜像组，然后多个镜像组组成raid0，至少需要4块硬盘，至多允许同时损坏半数硬盘，但同一组硬盘不能同时损坏，读、写有提升，有较好的冗余能力，使用空间n*DISK/2（一半）
raid01
先组织成raid0，然后多个raid0在组成raid1，至少需要4块硬盘
raid50（冗余）
先组成raid5组，然后把多个raid5组组成raid0，至少需要6块硬盘，同组raid5内，不允许同时坏两个盘，但不同组可以同时各坏一个，读写性能提升，有较好的冗余能力
JBOD(just a bunch of disks)简单磁盘捆绑，将多个磁盘串联在一起，当作一个设备使用，数据写满一个再写入另外一个盘，而不像RAID0那样，数据分散在不同的磁盘中
==================================================
生产情况下，不建议使用软件raid，以下软raid仅作为了解即可
md：multi disks
mdadm 命令来组织使用软raid
模式化的命令：
-A 装配模式
-C 创建模式
-F 监控模式
-D 查看软raid的详细信息
-S 停止RAID
-x # 对于有冗余能力的raid级别，此选项为其制定可用空闲盘的个数（好处就是在其中一块盘坏的情况下，空闲盘会自动替补上去）；注意-x 指定的个数加上 -n的个数，二者之和要等于后面DEVICES的数量
管理模式
-f 标记为坏的
-r 移出
-a 添加
-C：创建模式专用选项
-n # 用于创建raid设备的磁盘设备个数
-l # 指明RAID级别
-a yes|no 是否为正在创建的raid设备自动创建设备文件（/dev/md#....，#仅表示设备编号，而与级别无关）
-c chunk_size 默认为64K（如果存放的单个大文件，可以把chunk_size改大一些，存放的都是单个小文件，可以改小一点 2^n）
设备状态信息输出/proc/mdstat
注意：不应该使用同一个磁盘上的多个分区创建raid设备（软raid是支持分区创建的）
创建分区时，分区格式调整为：fd Linux raid auto（非常重要）
示例：
mdadm -C /dev/md0 -a yes -n 2 -l 0 /dev/sda7 /dev/sdb7
查看信息：
cat /proc/mdstat
小技巧：#watch -n1 ' cat /proc/mdstat' 动态查看（每隔一秒查看一次），有点类似 tail -f FILE
watch命令的用法
-n # 每个几秒钟刷新一次，间隔时长
watch -n # 'COMMAND'
mdadm -f /dev/md0 /dev/sdb7 标记/dev/mdo这个raid中的/dev/sdb7设备为一个坏的设备（faulty状态）
因为其中一个标记成坏的了，所以添加一个进行修复：
mdadm -a /dev/md0 /dev/sda8 在/dev/md0这个raid中添加/dev/sda8，添加OK后，cat /proc/mdstat 查看进度
mdadm -r /dev/md0 /dev/sdb7 移出/dev/sdb7
mdadm -D /dev/md0 查看md0的详细信息
停止raid：
mdadm -S /dev/md# 停止指定的raid设备，将来使用时需要”装配“ （-A）
重新装配指定的raid
mdadm -A /dev/md# /dev/DEVICES
可能会读取装配文件：/etc/mdam.conf（不存在，如果需要的话需要手动创建）
注意：有冗余能力的RAID仅避免因硬件损坏而导致业务终止，也能避免因硬件损坏而导致数据丢失，它不能取代备份的功能
============================练习============================
1、创建一个大小为10G的RAID 1 要求有一个空闲盘，而且CHUNK大小为128K
[root@localhost ~]# mdadm -C /dev/md0 -a yes -n 2 -x 1 -l 1 -c 128 /dev/sda{6,7} /dev/sdb1
mdadm: Note: this array has metadata at the start and
may not be suitable as a boot device. If you plan to
store '/boot' on this device please ensure that
your boot-loader understands md/v1.x metadata, or use
--metadata=0.90
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
可以对其格式，然后挂载使用
[root@localhost ~]# mkfs.ext4 /dev/md0
[root@localhost ~]# mdadm -D /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Wed Oct 28 01:25:39 2015
Raid Level : raid1
Array Size : 10479232 (9.99 GiB 10.73 GB)
Used Dev Size : 10479232 (9.99 GiB 10.73 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Wed Oct 28 01:29:55 2015
State : active
Active Devices : 2
Working Devices : 3
Failed Devices : 0
Spare Devices : 1
Name : localhost.localdomain:0 (local to host localhost.localdomain)
UUID : 672b6987:7a038b6e:9863300e:a049f5a9
Events : 18
Number Major Minor RaidDevice State
0 8 6 0 active sync /dev/sda6
1 8 7 1 active sync /dev/sda7
2 8 17 - spare /dev/sdb1
2、创建一个大小为5G的RAID5设备，chunk大小为256K，格式化为ext4文件系统，要求开机自动挂载/backup目录，而且不更新访问时间戳，而且支持acl功能
创建三个分区各为2560M，过程略(创建的时候+2.5是不行的，可以写+2560M)
/dev/sda8 /dev/sdb5 /dev/sdb6
[root@localhost yum.repos.d]# partx -l /dev/sda
# 1: 2048- 1026047 ( 1024000 sectors, 524 MB)
# 2: 1026048- 62466047 ( 61440000 sectors, 31457 MB)
# 3: 62466048- 82946047 ( 20480000 sectors, 10485 MB)
# 4: 82946048-167772159 ( 84826112 sectors, 43430 MB)
# 5: 82950144- 87046143 ( 4096000 sectors, 2097 MB)
# 6: 87046207-108021059 ( 20974853 sectors, 10739 MB)
# 7: 108021123-129001949 ( 20980827 sectors, 10742 MB)
# 8: 129002013-134255204 ( 5253192 sectors, 2689 MB)
[root@localhost yum.repos.d]# partx -l /dev/sdb
# 1: 63- 20980889 ( 20980827 sectors, 10742 MB)
# 2: 20980890- 41961779 ( 20980890 sectors, 10742 MB)
# 3: 0- -1 ( 0 sectors, 0 MB)
# 4: 41961780- 83875364 ( 41913585 sectors, 21459 MB)
# 5: 41961843- 47215034 ( 5253192 sectors, 2689 MB)
# 6: 47215098- 52468289 ( 5253192 sectors, 2689 MB)
[root@localhost yum.repos.d]# mdadm -C /dev/md1 -a yes -n 3 -l 5 -c 256 /dev/sda8 /dev/sdb{5,6}
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md1 started.
[root@localhost yum.repos.d]# mdadm -D /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Wed Oct 28 14:16:50 2015
Raid Level : raid5
Array Size : 5249024 (5.01 GiB 5.38 GB)
Used Dev Size : 2624512 (2.50 GiB 2.69 GB)
Raid Devices : 3
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Wed Oct 28 14:18:28 2015
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 256K
Name : localhost.localdomain:1 (local to host localhost.localdomain)
UUID : c793a006:d3929608:9eb5de8b:67744df4
Events : 18
Number Major Minor RaidDevice State
0 8 8 0 active sync /dev/sda8
1 8 21 1 active sync /dev/sdb5
3 8 22 2 active sync /dev/sdb6
[root@localhost yum.repos.d]# mkfs -t ext4 /dev/md1
[root@localhost yum.repos.d]# blkid /dev/md1
/dev/md1: UUID="786b54c9-d523-421f-80e3-535618f88b4a" TYPE="ext4"
[root@localhost yum.repos.d]# mkdir /backup
[root@localhost yum.repos.d]# vim /etc/fstab
添加：
UUID=786b54c9-d523-421f-80e3-535618f88b4a /backup ext4 defaults,noatime,acl 0 0
[root@localhost yum.repos.d]# mount -a
[root@localhost yum.repos.d]# mount
/dev/sda2 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0")
/dev/sda1 on /boot type ext4 (rw)
/dev/sda3 on /usr type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/dev/md1 on /backup type ext4 (rw,noatime,acl)
df查看结果：
/dev/md1 ext4 4.9G 11M 4.6G 1% /backup
