HDFS缓存管理操作实战

Debugo 2014-12-21

Hadoop HDFS System


HDFS提供了一个高效的缓存加速机制——Centralized Cache Management，可以将一些经常被读取的文件（例如Hive中的fact表）pin到内存中。这些DataNode的缓存也是由NameNode所管理的（NameNode所管理的cache依然是以block形式，而DataNode也会定期向NameNode汇报缓存状态），而客户端可以高效得读取被缓存的数据块；为了能锁定内存，该实现依赖于JNI使用libhadoop.so，所以POSIX资源限制也要进行相应的设置（ulimit -l），并确保下面的参数被设置。

参数设置

dfs.datanode.max.locked.memory 该参数用于确定每个DataNode给缓存使用的最大内存量。设置这个参数和ulimit -l时，需要注意内存空间还需要一些内存用于做其他事情，比如，DataNode和应用程序JVM堆内存、以及操作系统的页缓存，以及计算框架的任务。所以不要使用太高的内存百分比。
下面是可选参数，可用于调优：
dfs.namenode.path.based.cache.refresh.interval.ms NameNode会使用该参数作为两次子路径缓存重复扫描的时间间隔，单位为毫秒。使用该参数来计算要缓存的块，以及每个DataNode包含一个应该被缓存的块的副本。默认为300000ms（5分钟）
dfs.datanode.fsdatasetcache.max.threads.per.volume DataNode会使用这个参数作为用于缓存新数据的每个卷的最大线程数。默认为4.
dfs.cachereport.intervalMsec
DataNode会使用该参数作为两次发送给NameNode的缓存状态报告的时间间隔。单位为毫秒。默认为10000ms(10秒）
dfs.namenode.path.based.cache.block.map.allocation.percent 分配给缓存块映射占Java堆内存的百分比。缓存块映射是一个使用hash链接的hash映射。太小的映射空间会导致缓存块太大时访问太过缓慢，而大的映射空间会消耗更多内存。默认为0.25(0.25%)

Caching Concept

缓存指令（Cache Directive）：一个指令（directive）是一个缓存的path，它可以是目录（仅包含该目录下的文件，不包含子目录），也可以是文件；指令（Directive）有一个参数replication，表示该path被缓存的副本数；另外，可以对一个文件进行多次缓存。
缓存池(cache pool）是一个管理实体，拥有类UNIX的权限，可以限制哪个用户和组可以访问该缓存池。写权限允许用户向缓存池添加或从中删除缓存指令(directive) 。读权限允许用户列出缓存池内的缓存指令，还有其他元数据。执行权限不能被使用。缓存池也可以添加资源管理。它可以强加一个最大限制值，可以限制写入缓存池中的指令的字节数。通常，缓存池限制值之和约等于为HDFS在集群中做缓存而保留的总内存量。从缓存池中也可以获得许多统计信息，用于集群用户决定应该缓存什么。缓存池也可以强加一个TTL最大值(time to live)。缓存指令由一个唯一的无重复的64位整数ID来标识。即使缓存指令后来被删除了，ID也不会重复使用。而缓存池由一个唯一的字符串名称来标识。

缓存管理命令—hdfs cacheadmin

1. 缓存命令

(1). addDirective：添加指令
hdfs cacheadmin -addDirective -path path -pool pool-name [-force] [-replication replication] [-ttl time-to-live] -path 添加的路径
-pool 加入的缓冲池名称
-force 不检查缓存池的资源限制
-replication 要使用的副本数，默认为1
-ttl 缓存指令可以保持多长时间。可以按照分钟，小时，天来指定，如30m，4h，2d。有效单位为[smhd]。“never”表示永不过期的指令。如果未指定该值，那么，缓存指令就不会过期。
(2). removeDirective：通过id删除指令
hdfs cacheadmin -removeDirective id (3). removeDirectives：删除执行path下所有缓存命令
hdfs cacheadmin -removeDirective path (4). listDirectives：显示某一路径下的缓存信息
hdfs cacheadmin -listDirectives [-stats] [-path path] [-pool pool] -stats 显示 列出基于path的缓存指令统计信息。
2. 缓存池命令
(1). 添加/修改缓存池：addPool/modifyPool
hdfs cacheadmin -addPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl]hdfs cacheadmin -modifyPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl] 其中，
-owner/group是该pool的属主/组，默认为当前用户
-mode是POSIX风格权限，默认为0755
-limit为该pool中可以缓存的最大字节数，默认没有限制
-maxTtl 最大的生存期，可以是120s, 30m, 4h, 2d等。
(2). 移除缓冲池：removePool
hdfs cacheadmin -removePool name(3). 列出缓冲池：listPools
hdfs cacheadmin -listPools [-stats] [name] -stats为显示统计信息

3. 命令实战

当前参数设置：

#创建缓存组，默认为cache_data
hdfs cacheadmin -addPool cache_data -mode 0777
Successfully added cache pool cache_data.
#生成一个1GB大小的文件
dd if=/dev/zero of=/tmp/test.zero bs=1M count=1024
+0 records in
+0 records out
24 bytes (1.1 GB) copied, 1.25545 s, 855 MB/s
hdfs dfs -put /tmp/test.zero /data
#生成缓存指令
hdfs cacheadmin -addDirective -path /data -pool cache_data -ttl 1d
Added cache directive 1
#显示缓存池的信息
hdfs cacheadmin -listPools -stats cache_data
Found 1 result.
NAME        OWNER  GROUP  MODE            LIMIT  MAXTTL  BYTES_NEEDED  BYTES_CACHED  BYTES_OVERLIMIT  FILES_NEEDED  FILES_CACHED
cache_data  hdfs   hdfs   rwxrwxrwx   unlimited   never    1073741824    1073741824                0             1             1
#统计信息，显示EXP Date
hdfs cacheadmin -listDirectives -path /data

Found 1 entry
 ID POOL         REPL EXPIRY                    PATH  
 cache_data      1 2014-12-22T15:38:31+0800  /data
#删除缓存指令和缓存池
hdfs cacheadmin -removeDirectives -path /data
Removed cache directive 1
Removed every cache directive with path /data
hdfs cacheadmin -removePool cache_data
Successfully removed cache pool cache_data.

官方文档：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.html

性能对比和原理描述，可以参考Hadoop Summit 2014的slide
http://www.slideshare.net/Hadoop_Summit/inmemory-caching-in-hdfs-lower-latency-same-great-taste-33921794