1.hdfs介绍

Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。

HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。

2.HDFS的特点
  1. 它适用于在分布式存储和处理。
  2. Hadoop提供的命令接口与HDFS进行交互。
  3. 名称节点和数据节点的帮助用户内置的服务器能够轻松地检查集群的状态。
  4. 流式访问文件系统数据。
  5. HDFS提供了文件的权限和验证。
3. HDFS架构

下面给出是Hadoop的文件系统的体系结构。

HDFS名称节点 hdfs名称节点的具体功能_HDFS

4.名称节点 - Namenode

名称节点是包含GNU/Linux操作系统和软件名称节点的普通硬件。它是一个可以在商品硬件上运行的软件。具有名称节点系统作为主服务器，它执行以下任务：

  • 管理文件系统命名空间。
  • 规范客户端对文件的访问。
  • 它也执行文件系统操作，如重命名，关闭和打开的文件和目录。
5.数据节点 - Datanode

Datanode具有GNU/Linux操作系统和软件Datanode的普通硬件。对于集群中的每个节点(普通硬件/系统)，有一个数据节点。这些节点管理数据存储在它们的系统。

  • 数据节点上的文件系统执行的读写操作，根据客户的请求。
  • 还根据名称节点的指令执行操作，如块的创建，删除和复制。
6.块

一般用户数据存储在HDFS文件。在一个文件系统中的文件将被划分为一个或多个段和/或存储在个人数据的节点。这些文件段被称为块。换句话说，数据的HDFS可以读取或写入的最小量被称为一个块。缺省的块大小为64MB，但它可以增加按需要在HDFS配置来改变。

7.HDFS的目标
  • 故障检测和恢复：由于HDFS包括大量的普通硬件，部件故障频繁。因此HDFS应该具有快速和自动故障检测和恢复机制。
  • 巨大的数据集：HDFS有数百个集群节点来管理其庞大的数据集的应用程序。
  • 数据硬件：请求的任务，当计算发生不久的数据可以高效地完成。涉及巨大的数据集特别是它减少了网络通信量，并增加了吞吐量。
8.HDFS读操作

HDFS名称节点 hdfs名称节点的具体功能_HDFS名称节点_02


数据读取请求将由 HDFS，NameNode和DataNode来服务。让我们把读取器叫 “客户”。下图描绘了文件的读取操作在 Hadoop 中。

  1. 客户端启动通过调用文件系统对象的 open() 方法读取请求; 它是 DistributedFileSystem 类型的对象。
  2. 此对象使用 RPC 连接到 namenode 并获取的元数据信息，如该文件的块的位置。 请注意，这些地址是文件的前几个块。
  3. 响应该元数据请求，具有该块副本的 DataNodes 地址被返回。
  4. 一旦接收到 DataNodes 的地址，FSDataInputStream 类型的一个对象被返回到客户端。 FSDataInputStream 包含 DFSInputStream 这需要处理交互 DataNode 和 NameNode。在上图所示的步骤4，客户端调用 read() 方法，这将导致 DFSInputStream 建立与第一个 DataNode 文件的第一个块连接。
  5. 以数据流的形式读取数据，其中客户端多次调用 “read() ” 方法。 read() 操作这个过程一直持续，直到它到达块结束位置。
  6. 一旦到模块的结尾，DFSInputStream 关闭连接，移动定位到下一个 DataNode 的下一个块
  7. 一旦客户端已读取完成后，它会调用 close()方法。
9.HDFS写操作

HDFS名称节点 hdfs名称节点的具体功能_HDFS_03

  1. 客户端通过调用 DistributedFileSystem对象的 create() 方法创建一个新的文件，并开始写操作 - 在上面的图中的步骤1
  2. DistributedFileSystem对象使用 RPC 调用连接到 NameNode，并启动新的文件创建。但是，此文件创建操作不与文件任何块相关联。NameNode 的责任是验证文件(其正被创建的)不存在，并且客户端具有正确权限来创建新文件。如果文件已经存在，或者客户端不具有足够的权限来创建一个新的文件，则抛出 IOException 到客户端。否则操作成功，并且该文件新的记录是由 NameNode 创建。
  3. 一旦 NameNode 创建一条新的记录，返回FSDataOutputStream 类型的一个对象到客户端。客户端使用它来写入数据到 HDFS。数据写入方法被调用(图中的步骤3)。
  4. FSDataOutputStream包含DFSOutputStream对象，它使用 DataNodes 和 NameNode 通信后查找。当客户机继续写入数据，DFSOutputStream 继续创建这个数据包。这些数据包连接排队到一个队列被称为 DataQueue
  5. 还有一个名为 DataStreamer 组件，用于消耗DataQueue。DataStreamer 也要求 NameNode 分配新的块，拣选 DataNodes 用于复制。
  6. 现在，复制过程始于使用 DataNodes 创建一个管道。 在我们的例子中，选择了复制水平3，因此有 3 个 DataNodes 管道。
  7. 所述 DataStreamer 注入包分成到第一个 DataNode 的管道中。
  8. 在每个 DataNode 的管道中存储数据包接收并同样转发在第二个 DataNode 的管道中。
  9. 另一个队列，“Ack Queue”是由 DFSOutputStream 保持存储，它们是 DataNodes 等待确认的数据包。
  10. 一旦确认在队列中的分组从所有 DataNodes 已接收在管道，它从 ‘Ack Queue’ 删除。在任何 DataNode 发生故障时，从队列中的包重新用于操作。
  11. 在客户端的数据写入完成后，它会调用close()方法(第9步图中)，调用close()结果进入到清理缓存剩余数据包到管道之后等待确认。
  12. 一旦收到最终确认，NameNode 连接告诉它该文件的写操作完成。