Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 概述

CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在，您可以为DataNode数据目录指定不同的存储类型，这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据，可以存储在SSD中，而归档的数据可以存放在相对便宜的存储介质中。

集群中的每个DataNode都配置有一组数据目录，您可以为每个数据目录配置一个存储类型。存储策略指示在存储文件或目录时要使用的存储类型。常见使用不同存储类型的原因包括：

1.数据集具有时间局部性(temporal locality)，比如时间序列数据。最新数据最初可以加载到SSD中以提高性能，然后随着时间的推移迁移到普通磁盘。

2.您需要将冷数据移动到更密集的归档存储，因为这些数据很少访问并且归档存储设备更便宜。这可以通过简单的老化策略来完成，比如将超过六个月的数据移动到归档存储。

1.1 存储类型

存储类型标识底层存储介质。HDFS支持以下存储类型：

  • ARCHIVE - 归档存储用于非常密集的存储，主要用于很少访问的数据。这种存储类型比普通硬盘每TB的成本会更便宜。
  • DISK - 硬盘驱动器相对便宜，并提供顺序I/O性能。这是默认存储类型。
  • SSD - 固态驱动器(Solid state drives)对于存储热数据和I/O密集型应用程序非常有用。
  • RAM_DISK - 这种特殊的内存存储类型用于加速低持久性的单副本写入。

添加DataNode数据目录时，可以通过在路径中添加存储类型前缀来指定它使用的存储类型，用括号括起来。如果未指定存储类型，则假定为DISK。

1.2 存储策略

存储策略包含描述要使用的存储类型的信息。如果主要类型空间不足或者超出配额，此策略还会定义回退存储类型。如果目标存储类型不可用，HDFS会尝试将副本放在默认存储类型上。

每个存储策略都包含策略ID，策略名称，存储类型列表，用于文件创建的回退存储类型列表以及用于复制的回退存储类型列表。

  • HDFS有六个预配置的存储策略。
  • Hot - 所有副本都存储在DISK上。
  • Cold - 所有副本都存储在ARCHIVE上。
  • Warm - 一个副本存储在DISK上，其他副本存储在ARCHIVE上。
  • All_SSD - 所有副本都存储在SSD上。
  • One_SSD - 一个副本存储在SSD上，其他副本存储在DISK上。
  • Lazy_Persist - 将副本写入RAM_DISK，然后缓慢的持久化到DISK。

注意：您无法创建自己的存储策略。您必须使用六个预配置策略之一。HBase等HDFS客户端可能支持不同的存储策略。

2 Cloudera Manager设置SSD存储

1.正常搭建你的集群，在数据目录前使用[ssd]来自定义DataNode。你也可以在集群搭建完毕以后，再设置 [ssd]前缀，不过这需要重启HDFS服务。

2.停止HBase服务。

3.使用HDFS客户端，将/hbase改名为/hbase_backup。

4.使用Cloudera Manager重建HBase服务的/hbase目录，这样可以保证权限正确。使用HDFS客户端，将/hbase目录的存储策略设置为仅SSD。

5.使用Distcp拷贝/hbase_backup到/hbase。

hadoop distcp /hbase_backup /hbase

6.启动HBase服务。

3 设置HDFS存储策略

注意：因为使用Cloudera Manager操作，最小角色需要Cluster Administrator，Full Administrator同样具有权限操作。

要使用Cloudera Manager在DataNode数据目录上设置存储策略，请执行以下操作：

1.确保HDFS Service Advanced Configuration Snippet (Safety Valve) for hdfs-site.xml中的配置dfs.storage.policy.enabled没有被修改，默认值为true。

2.通过在目录路径开头的括号中添加存储类型，为每个不是标准磁盘的DataNode数据目录指定存储类型。例如：

[SSD]/dfs/dn1
[DISK]/dfs/dn2
[ARCHIVE]/dfs/dn3

3.在任何HDFS主机上打开终端会话。对要设置存储策略的每个路径运行以下hdfs命令：

$ hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy>
path_to_file_or_directory -policy policy_name

4.要根据当前存储策略将数据移动到适当的存储，需要使用mover命令。使用mover -h获取可用选项列表。要一次迁移所有数据（这可能需要很长时间），您可以将路径设置为/。

hdfs mover -p <path>

注意：在设置存储策略或写入文件时强制执行配额，而不是修改配额时。Mover工具无法识别配额违规。它仅验证文件是否存储在其策略中指定的存储类型上。

4 管理存储策略

1.要获取DataNode上特定文件或目录的存储策略，请使用以下命令

hdfs storagepolicies -getStoragePolicy -path <path>path_to_policy

2.要列出一台DataNode上的所有策略，可以使用以下命令：

hdfs storagepolicies -listPolicies

3.要重置存储策略，可以参考上一章节。

5 迁移已有数据

要根据当前存储策略将数据移动到适当的存储，需要使用mover命令。使用mover -h获取可用选项列表。 要一次迁移所有数据（这可能需要很长时间），您可以将路径设置为/。

hdfs mover -p <path>

注意：在设置存储策略或写入文件时强制执行配额，而不是修改配额时。Mover工具无法识别配额违规。它仅验证文件是否存储在其策略中指定的存储类型上。