目录

HDFS 是如何实现大数据高速、可靠的存储和访问的？

 HDFS 是如何保证存储的高可用性呢？

如何保证整个软件系统依然是可用的？

Google 大数据“三驾马车”的第一驾是 GFS（Google 文件系统），而

Hadoop 的第一个产品是 HDFS，可以说分布式文件存储是分布式计算的基础，也可见分

布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而

Hadoop 分布式文件系统 HDFS就是烧菜的那口大锅。

厨师来来往往，食材进进出出，各种菜肴层出不穷，而不变的则是那口大锅。大数据也是如

此，这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但

是大数据存储的王者依然是 HDFS。

为什么 HDFS 的地位如此稳固呢？HDFS 作为最早的大数据存储系统，存储着

宝贵的数据资产，各种新的算法、框架要想得到人们的广泛使用，必须支持 HDFS 才能获

取已经存储在里面的数据。

所以大数据技术越发展，新技术越多，HDFS 得到的支持越多，

我们越离不开 HDFS。HDFS 也许不是最好的大数据存储技术，但依然最重要的大数据存

储技术。

HDFS 是如何实现大数据高速、可靠的存储和访问的？

Hadoop 分布式文件系统 HDFS 的设计目标是管理数以千计的服务器、数以万计的磁盘，

将这么大规模的服务器计算资源当作一个单一的存储系统进行管理，对应用程序提供数以

PB 计的存储容量，让应用程序像使用普通文件系统一样存储大规模的文件数据。

RAID 将数据分片后在多块磁盘

上并发进行读写访问，从而提高了存储容量、加快了访问速度，并通过数据的冗余校验提高

了数据的可靠性，即使某块磁盘损坏也不会丢失数据。将RAID 的设计理念扩大到整个分

布式服务器集群，就产生了分布式文件系统，Hadoop 分布式文件系统的核心原理就是如

此。

和 RAID 在多个磁盘上进行文件存储及并行读写的思路一样，HDFS 是在一个大规模分布式

服务器集群上，对数据分片后进行并行读写及冗余存储。因为 HDFS 可以部署在一个比较

大的服务器集群上，集群中所有服务器的磁盘都可供 HDFS 使用，所以整个 HDFS 的存储

空间可以达到 PB 级容量。

hdfs 和gfs hdfs和gfs的关系_HDFS

图是 HDFS 的架构图，从图中你可以看到 HDFS 的关键组件有两个，一个是

DataNode，一个是 NameNode。

DataNode 负责文件数据的存储和读写操作，HDFS 将文件数据分割成若干数据块

（Block），每个 DataNode 存储一部分数据块，这样文件就分布存储在整个 HDFS 服务

器集群中。应用程序客户端（Client）可以并行对这些数据块进行访问，从而使得 HDFS 可

以在服务器集群规模上实现数据并行访问，极大地提高了访问速度。

在实践中，HDFS 集群的 DataNode 服务器会有很多台，一般在几百台到几千台这样的规

模，每台服务器配有数块磁盘，整个集群的存储容量大概在几 PB 到数百 PB。

NameNode 负责整个分布式文件系统的元数据（MetaData）管理，也就是文件路径

名、数据块的 ID 以及存储位置等信息，相当于操作系统中文件分配表（FAT）的角色。

HDFS 为了保证数据的高可用，会将一个数据块复制为多份（缺省情况为 3 份），并将多

份相同的数据块存储在不同的服务器上，甚至不同的机架上。这样当有磁盘损坏，或者某个

DataNode 服务器宕机，甚至某个交换机宕机，导致其存储的数据块不能访问的时候，客

户端会查找其备份的数据块进行访问。

下面这张图是数据块多份复制存储的示意，图中对于文件 /users/sameerp/data/part-0，

其复制备份数设置为 2，存储的 BlockID 分别为 1、3。Block1 的两个备份存储在

DataNode0 和 DataNode2 两个服务器上，Block3 的两个备份存储 DataNode4 和

DataNode6 两个服务器上，上述任何一台服务器宕机后，每个数据块都至少还有一个备份

存在，不会影响对文件 /users/sameerp/data/part-0 的访问。

hdfs 和gfs hdfs和gfs的关系_HDFS_02

和 RAID 一样，数据分成若干数据块后存储到不同服务器上，可以实现数据大容量存储，

并且不同分片的数据可以并行进行读 / 写操作，进而实现数据的高速访问。

HDFS 是如何保证存储的高可用性呢？

 

1. 数据存储故障容错

磁盘介质在存储过程中受环境或者老化影响，其存储的数据可能会出现错乱。HDFS 的应对

措施是，对于存储在 DataNode 上的数据块，计算并存储校验和（CheckSum）。在读取

数据的时候，重新计算读取出来的数据的校验和，如果校验不正确就抛出异常，应用程序捕

获异常后就到其他 DataNode 上读取备份数据。

2. 磁盘故障容错

如果 DataNode 监测到本机的某块磁盘损坏，就将该块磁盘上存储的所有 BlockID 报告给

NameNode，NameNode 检查这些数据块还在哪些 DataNode 上有备份，通知相应的

DataNode 服务器将对应的数据块复制到其他服务器上，以保证数据块的备份数满足要

求。

3.DataNode 故障容错

DataNode 会通过心跳和 NameNode 保持通信，如果 DataNode 超时未发送心跳，

NameNode 就会认为这个 DataNode 已经宕机失效，立即查找这个 DataNode 上存储的

数据块有哪些，以及这些数据块还存储在哪些服务器上，随后通知这些服务器再复制一份数

据块到其他服务器上，保证 HDFS 存储的数据块备份数符合用户设置的数目，即使再出现

服务器宕机，也不会丢失数据。

4.NameNode 故障容错

NameNode 是整个 HDFS 的核心，记录着 HDFS 文件分配表信息，所有的文件路径和数

据块存储信息都保存在 NameNode，如果 NameNode 故障，整个 HDFS 系统集群都无

法使用；如果 NameNode 上记录的数据丢失，整个集群所有 DataNode 存储的数据也就

没用了。

hdfs 和gfs hdfs和gfs的关系_hdfs 和gfs_03

 

集群部署两台 NameNode 服务器，一台作为主服务器提供服务，一台作为从服务器进行

热备，两台服务器通过 ZooKeeper 选举，主要是通过争夺 znode 锁资源，决定谁是主服

务器。而 DataNode 则会向两个 NameNode 同时发送心跳数据，但是只有主

NameNode 才能向 DataNode 返回控制信息。

正常运行期间，主从 NameNode 之间通过一个共享存储系统 shared edits 来同步文件系

统的元数据信息。当主 NameNode 服务器宕机，从 NameNode 会通过 ZooKeeper 升

级成为主服务器，并保证 HDFS 集群的元数据信息，也就是文件分配表信息完整一致。

如何保证整个软件系统依然是可用的？

分布式系统可能出故障地方又非常多，内存、CPU、主板、磁盘会损坏，服务器会宕

机，网络会中断，机房会停电，所有这些都可能会引起软件系统的不可用，甚至数据永久丢

失。

所以在设计分布式系统的时候，软件工程师一定要绷紧可用性这根弦，思考在各种可能的故

障情况下，如何保证整个软件系统依然是可用的

  1. 冗余备份
  2. 失效转移
  3. 限流
  4. 降级