注：演示纠删码和异构存储需要一共 5 台虚拟机。提前准备 5 台服务器的集群。
纠删码
纠删码原理
HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。
1 ）纠删码操作相关的命令
hdfs ec
2 ）查看当前支持的纠删码策略
hdfs ec -listPolicies
3 ） 纠删码策略解释:
RS-3-2-1024k：使用 RS 编码，每 3 个数据单元，生成 2 个校验单元，共 5 个单元，也就是说：这 5 个单元中，只要有任意的 3 个单元存在（不管是数据单元还是校验单元，只要总数=3），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。
RS-10-4-1024k：使用 RS 编码，每 10 个数据单元（cell），生成 4 个校验单元，共 14个单元，也就是说：这 14 个单元中，只要有任意的 10 个单元存在（不管是数据单元还是校验单元，只要总数=10），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。
RS-6-3-1024k：使用 RS 编码，每 6 个数据单元，生成 3 个校验单元，共 9 个单元，也
就是说：这 9 个单元中，只要有任意的 6 个单元存在（不管是数据单元还是校验单元，只要
总数=6），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。
RS-LEGACY-6-3-1024k：策略和上面的 RS-6-3-1024k 一样，只是编码的算法用的是 rs-legacy。
XOR-2-1-1024k：使用 XOR 编码（速度比 RS 编码快），每 2 个数据单元，生成 1 个校验单元，共 3 个单元，也就是说：这 3 个单元中，只要有任意的 2 个单元存在（不管是数据单元还是校验单元，只要总数= 2），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。
纠删码案例实操
纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。
默认只开启对 RS-6-3-1024k 策略的支持，如要使用别的策略需要提前启用。
1 ）需求：将/input 目录设置为 RS-3-2-1024k 策略
hdfs ec -enablePolicy -policy RS-3-2-1024k
（2）在 HDFS 创建目录，并设置 RS-3-2-1024k 策略
hdfs dfs -mkdir /input
hdfs ec -setPolicy -path /input -policy RS-3-2-1024k
（3）上传文件，并查看文件编码后的存储情况
注：你所上传的文件需要大于 2M 才能看出效果。（低于 2M，只有一个数据单元和两
个校验单元）
（4）查看存储路径的数据单元和校验单元，并作破坏实验
先删除一或两个节点里data的内容，然后去下载文件，发现是可以下载成功的
然后再快速删除三个节点里data内容，然后下载文件，发现是下载失败的。（速度要看，因为他会自动恢复已删除的节点，当然如果少于三个节点的数据后，就损坏了）
异构存储（冷热数据分离）
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。
异构存储 Shell 操作
（1）查看当前有哪些存储策略可以用
hdfs storagepolicies -listPolicies
（2）为指定路径（数据存储目录）设置指定的存储策略
hdfs storagepolicies -setStoragePolicy -path xxx -policy xxx
（3）获取指定路径（数据存储目录或文件）的存储策略
hdfs storagepolicies -getStoragePolicy -path xxx
（4）取消存储策略；执行改命令之后该目录或者文件，以其上级的目录为准，如果是根目录，那么就是 HOT
hdfs storagepolicies -unsetStoragePolicy -path xxx
（5）查看文件块的分布
bin/hdfs fsck xxx -files -blocks -locations
（6）查看集群节点
hadoop dfsadmin -report
测试环境准备
1 ）测试环境描述
服务器规模：5 台
集群配置：副本数为 2，创建好带有存储类型的目录（提前创建）
集群规划：
2 ）配置文件信息
（1）为 hadoop102 节点的 hdfs-site.xml 添加如下信息
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[SSD]file:///opt/module/hadoop-
3.1.3/hdfsdata/ssd,[RAM_DISK]file:///opt/module/hadoop-
3.1.3/hdfsdata/ram_disk</value>
</property>（2）为 hadoop103 节点的 hdfs-site.xml 添加如下信息
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[DISK]file:///opt/module/hadoop-
3.1.3/hdfsdata/disk</value>
</property>（3）为 hadoop104 节点的 hdfs-site.xml 添加如下信息
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[RAM_DISK]file:///opt/module/hdfsdata/ram_disk,[DISK]file:///o
pt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>（4）为 hadoop105 节点的 hdfs-site.xml 添加如下信息
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[ARCHIVE]file:///opt/module/hadoop-
3.1.3/hdfsdata/archive</value>
</property>（5）为 hadoop106 节点的 hdfs-site.xml 添加如下信息
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[ARCHIVE]file:///opt/module/hadoop-
3.1.3/hdfsdata/archive</value>
</property>3 ）数据准备
（1）启动集群
hdfs namenode -format
myhadoop.sh start
（1）并在 HDFS 上创建文件目录
hadoop fs -mkdir /hdfsdata
（2）并将文件资料上传
hadoop fs -put /opt/module/hadoop-3.1.3/NOTICE.txt /hdfsdata
HOT 存储策略案例
（1）最开始我们未设置存储策略的情况下，我们获取该目录的存储策略
hdfs storagepolicies -getStoragePolicy -path /hdfsdata
（2）我们查看上传的文件块分布
hdfs fsck /hdfsdata -files -blocks -locations
未设置存储策略，所有文件块都存储在 DISK 下。所以，默认存储策略为 HOT。
WARM 存储策略测试
（1）接下来我们为数据降温
hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM
（2）再次查看文件块分布，我们可以看到文件块依然放在原处。
hdfs fsck /hdfsdata -files -blocks -locations
（3）我们需要让他 HDFS 按照存储策略自行移动文件块
hdfs mover /hdfsdata
（4）再次查看文件块分布
hdfs fsck /hdfsdata -files -blocks -locations
文件块一半在 DISK，一半在 ARCHIVE，符合我们设置的 WARM 策略
COLD 策略测试
（1）我们继续将数据降温为 cold
hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy COLD
注意：当我们将目录设置为 COLD 并且我们未配置 ARCHIVE 存储目录的情况下，不可以向该目录直接上传文件，会报出异常。
（2）手动转移
hdfs mover /hdfsdata
（3）检查文件块的分布
bin/hdfs fsck /hdfsdata -files -blocks -locations
所有文件块都在 ARCHIVE，符合 COLD 存储策略。
ONE_SSD 策略测试
（1）接下来我们将存储策略从默认的 HOT 更改为 One_SSD
hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy One_SSD
（2）手动转移文件块
hdfs mover /hdfsdata
（3）转移完成后，我们查看文件块分布
文件块分布为一半在 SSD，一半在 DISK，符合 One_SSD 存储策略。
ALL_SSD 策略 测试
（1）接下来，我们再将存储策略更改为 All_SSD
hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy All_SSD
（2）手动转移文件块
hdfs mover /hdfsdata
（3）查看文件块分布，我们可以看到
bin/hdfs fsck /hdfsdata -files -blocks -locations
所有的文件块都存储在 SSD，符合 All_SSD 存储策略。
LAZY_PERSIST 策略测试
（1）继续改变策略，将存储策略改为 lazy_persist
hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy lazy_persist
（2）手动转移文件块
hdfs mover /hdfsdata
（3）查看文件块分布
hdfs fsck /hdfsdata -files -blocks -locations
这里我们发现所有的文件块都是存储在 DISK，按照理论一个副本存储在 RAM_DISK，其他副本存储在 DISK 中，这是因为，我们还需要配置“dfs.datanode.max.locked.memory”，“dfs.block.size”参数。那么出现存储策略为 LAZY_PERSIST 时，文件块副本都存储在 DISK 上的原因有如下两点：
（1）当客户端所在的 DataNode 节点没有 RAM_DISK 时，则会写入客户端所在的DataNode 节点的 DISK 磁盘，其余副本会写入其他节点的 DISK 磁盘。
（2）当客户端所在的 DataNode 有 RAM_DISK，但“dfs.datanode.max.locked.memory”参数值未设置或者设置过小（小于“dfs.block.size”参数值）时，则会写入客户端所在的DataNode 节点的 DISK 磁盘，其余副本会写入其他节点的 DISK 磁盘。
但是由于虚拟机的“max locked memory”为 64KB，所以，如果参数配置过大，还会报出错误：
我们可以通过该命令查询此参数的内存
ulimit -a
