大数据梦工厂（0004 - DataNode工作机制解析）

1 - 基本描述

DataNode 通常是群集中每个节点部署一个，用于存储数据，负责提供客户端的读写请求，并且根据 NameNode 的指令执行数据块的创建、删除、追加和复制等操作。

DataNode 三大功能：

  • 负责管理所在节点上存储数据的读写，及存储每个文件的数据块。
  • 定期向 NameNode 报告该节点的数据块元数据信息。
  • 执行数据的流水线复制。

2 - 工作机制

datanode.png

DataNode 上的数据块以文件形式存储在本地磁盘上，包括两个文件：

  • 文件的数据块；
  • 数据块元数据（长度、校验和、时间戳）。

DataNode 启动后向 NameNode 服务注册，通过心跳机制：

  • 每 3 秒向 NameNode 上报所有的数据块元数据信息；
  • 心跳返回结果带有 NameNode 给该 DataNode 的执行命令，如：数据复制和删除等操作命令。

3 - 超时时长

由于 DataNode 故障无法与 NameNode 通信，NameNode 不会立即把该节点标记为不可用，要经过一段时间，这段时间可称为超时时长。HDFS 默认的超时时长为 10分钟 + 30秒。如果定义超时时间为 timeout，则超时时长的计算公式为：

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

dfs.namenode.heartbeat.recheck-interval 默认为 5分钟， dfs.heartbeat.interval 默认为 3秒。 因此，总的超时时间为：10分钟 + 30秒

通过 hdfs-site.xml 配置文件，修改超时时长和心跳间隔。

<property>
  <name>dfs.namenode.heartbeat.recheck-interval</name>
  <value>300000</value>
  <description>心跳重新检查间隔(毫秒)</description>
</property>
<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
  <description>心跳间隔(秒)</description>
</property>

4 - 文件格式

进入某一个 DataNode 节点，找到数据块存储的路径，如下所示：

[root@hadoop-01 ~]# ls -l /data1/dfs/dn/current/BP-1494942513-172.20.4.81-1610618575835/current/finalized/subdir99/subdir99/
total 16
-rw-r--r-- 1 hdfs hdfs 49 Jul  8 16:51 blk_1080255312
-rw-r--r-- 1 hdfs hdfs 11 Jul  8 16:51 blk_1080255312_6514554.meta
-rw-r--r-- 1 hdfs hdfs 49 Jul  8 16:51 blk_1080255316
-rw-r--r-- 1 hdfs hdfs 11 Jul  8 16:51 blk_1080255316_6514558.meta

block.png

可以看出，HDFS 数据块的文件名组成格式为：

  • blk_*：数据块，保存具体的二进制数据；
  • blk_*.meta：数据块的属性信息（版本、类型信息）。

5 - 多目录配置

通过修改 hadoop-hdfs-2.7.jar 里面的 hdfs-default.xml 文件的相关配置，设置相关 DataNode 数据目录。如下所示：

<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.tmp.dir}01/dfs/data,file://${hadoop.tmp.dir}02/dfs/data</value>
</property>

6 - Hadoop Archives

6.1 - 简介

Hadoop Archives 是特殊的归档格式。Hadoop Archive 映射到文件系统目录，且后缀名为 *.har。Hadoop 归档目录包含元数据（采用 _index 和 _masterindx 的形式）和数据（part-*）文件。_index 文件包含了归档文件的文件名和位置信息。 archive_04.png

6.2 - 应用场景

HDFS 适合存储海量数据的大文件。但并不擅长存储小文件，因为每个文件最少一个 Block，每个 Block 的元数据都会占用 NameNode 中的内存。

如果存在大量的小文件，它们会占用 NameNode 的大量内存，导致 NameNode 和 DataNode 交互变得缓慢，甚至会耗尽 NameNode 中的内存。

因此，Hadoop Archives 可以有效的处理以上问题，降低集群的 Blocks 数量减轻 NameNode 压力。它可以把多个文件归档成为一个大文件，归档成一个文件后还可以透明的访问每一个文件。

6.3 - 实践操作

1、创建目录

# 创建3个目录
[root@hadoop-01 ~]# hdfs dfs -mkdir /tmp/test/dir1
[root@hadoop-01 ~]# hdfs dfs -mkdir /tmp/test/dir2
[root@hadoop-01 ~]# hdfs dfs -mkdir /tmp/test/dir3

archive_01.png

2、上传小文件

[root@hadoop-01 ~]# ls -l
total 12
-rw-r--r-- 1 root root 12 Aug 24 14:05 1.txt
-rw-r--r-- 1 root root 12 Aug 24 14:05 2.txt
-rw-r--r-- 1 root root 12 Aug 24 14:05 3.txt
[root@hadoop-01 ~]# hdfs dfs -put 1.txt /tmp/test/dir1
[root@hadoop-01 ~]# hdfs dfs -put 2.txt /tmp/test/dir2
[root@hadoop-01 ~]# hdfs dfs -put 3.txt /tmp/test/dir3
[root@hadoop-01 ~]# hdfs dfs -cat /tmp/test/dir1/1.txt
hello 1.txt

archive_02.png

3、创建存放归档文件目录

[root@hadoop-01 ~]# hdfs dfs -mkdir /tmp/zoo

4、创建归档

[root@hadoop-01 ~]# hadoop archive -archiveName test.har -p /tmp/test dir1 dir2 dir3 /tmp/zoo/

archive_03.png

5、查看归档文件

[root@hadoop-01 ~]# hdfs dfs -ls /tmp/zoo/test.har
Found 4 items
-rw-r--r--   3 hdfs supergroup          0  2021-08-24 14:20 /tmp/zoo/test.har/_SUCCESS
-rw-r--r--   3 hdfs supergroup        439  2021-08-24 14:20 /tmp/zoo/test.har/_index
-rw-r--r--   3 hdfs supergroup         23  2021-08-24 14:20 /tmp/zoo/test.har/_masterindex
-rw-r--r--   3 hdfs supergroup         36  2021-08-24 14:20 /tmp/zoo/test.har/part-0

archive_04.png

6、使用 har URL 访问 索引、标识等文件会被隐藏，只显示创建归档前的原文件

[root@hadoop-01 ~]# hdfs dfs -ls har:///tmp/zoo/test.har
Found 3 items
drwxr-xr-x   - hdfs supergroup          0 2021-08-24 13:56 har:///tmp/zoo/test.har/dir1
drwxr-xr-x   - hdfs supergroup          0 2021-08-24 13:56 har:///tmp/zoo/test.har/dir2
drwxr-xr-x   - hdfs supergroup          0 2021-08-24 13:56 har:///tmp/zoo/test.har/dir3
[root@hadoop-01 ~]# hdfs dfs -cat har:///tmp/zoo/test.har/dir1/1.txt
hello 1.txt

archive_05.png

7、解除归档文件

# 使用 cp 解除归档
[root@hadoop-01 ~]# hdfs dfs -cp har:///tmp/zoo/test.har/dir1 /tmp
# 使用 distcp 解除归档，使用 Map/Reduce job
[root@hadoop-01 ~]# hadoop distcp har:///tmp/zoo/test.har/dir1 /tmp
[root@hadoop-01 ~]#
[root@hadoop-01 ~]# hdfs dfs -ls /tmp
Found 3 items
drwxr-xr-x   - hdfs   supergroup          0 2021-08-24 14:40 /tmp/dir1
drwxr-xr-x   - hdfs   supergroup          0 2021-08-24 13:54 /tmp/test
drwxr-xr-x   - hdfs   supergroup          0 2021-08-24 14:20 /tmp/zoo
[root@hadoop-01 ~]# hdfs dfs -ls /tmp/dir1
Found 1 items
-rw-r--r--   3 hdfs supergroup         12 2021-08-24 14:40 /tmp/dir1/1.txt
[root@hadoop-01 ~]# hdfs dfs -cat /tmp/dir1/1.txt
hello 1.txt

archive_06.png

6.4 - 总结

由 Hadoop Archives 操作，可以得出以下结论：

  1. archives 能将多个小文件合并归档为一个大的 har 文件；
  2. 创建 archives 是一个 Map/Reduce 任务，需在 MapReduce 集群上运行；
  3. 创建 archive 归档文件要消耗和原文件一样多的磁盘空间；
  4. 创建 archive 后是不可更改的，重命名、删除和创建都会返回错误；
  5. 当创建 archive 时，源文件不会被更改或删除；
  6. MapReduce 可以使用 archives 中的所有 har 文件作为输入。

7 - 回收站机制

如果开启回收站功能，被删除的文件在指定的时间内，可以执行恢复操作，防止数据被误删除情况。

HDFS 内部具体实现则是在 NameNode 中启动一个后台线程（Emptier），该线程专门管理和监控文件系统回收站下面的文件，对于放进回收站的文件且超过生命周期，就会自动删除。

通过修改 core-site.xml 文件的相关配置，如下所示：

<property>
  <name>fs.trash.interval</name>
  <value>1</value>
</property>

fs.trash.interval=0，表示禁用回收站机制，1 表示开启。

::: hljs-center 扫一扫，我们的故事就开始了。 :::

scan.png