一、主要组成模块
Hadoop Distributed File System（HDFS）：分布式文件存储系统。
MapReduce：并行计算框架（可以自定义计算逻辑的部分）
Yet Another Resource Negotiator（YARN）：另一种资源协调者（顾名思义，Hadoop1.x采用的不是这一个资源管理器）
二、HDFS概述及应用场景
1、HDFS特点：
- 高容错性：认为硬件总是不可靠的。
- 高吞吐量：为大量数据访问的应用提供高可用吞吐量支持。
- 大文件存储：支持存储TB-PB级别的数据。
- HDFS适合做：大文件存储、流式数据访问。
- HDFS不适合做：大量小文件、随机写入、低延迟读取
2、HDFS系统架构
HDFS架构包含三个部分：（NameNode，DateNode，Client）
- NameDode：用于存储、生成文件系统的元数据、运行一个实例。
- DateNode：用于存储实际的数据，将自己管理的数据块上报给NameNode，运行多个实例。
- Client：支持业务访问HDFS，从NameNode，DateNode获取数据返回给业务。多个实例，和业务一起运行。
3、HDFS数据写入流程
（1）、业务应用调用HDFS Client提供的API创建文件，请求写入。
（2）、HDFS Client联系NameNode，NameNode在元数据中创建文件节点。
（3）、业务应用调用write API写入文件。
（4）、HDFS Client收到业务数据后，从NameNode获取到数据块编号、位置信息后，联系DateNode，并将要写入数据的DateNode建立起流水线。完成后，客户端再通过自有协议写入数据到DateNode1，再由DateNode1复制到NateNode2，DateNode3.
（5）、写完的数据，将返回确认信息给HDFS Client。
（6）、所有数据确认完成后，业务调用HDFS CLient关闭文件。
（7）、业务调用close，flush后HDFS Client联系NameNode，确认数据写完成，NameNode持久化元数据。
4、HDFS数据读取流程
（1）、业务调用HDFS Client提供的API打开文件。
（2）、HDFS Client 联系 NmaeNode，获取到文件信息（数据块、DateNode位置信息）。
（3）、业务应用调用read API读取文件。
（4）、HDFS Client根据从NmaeNode获取到的信息，联系DateNode，获取相应的数据块。（Client采用就近原则读取数据）。
（5）、HDFS Client会与多个DateNode通讯获取数据块。
（6）、数据读取完成后，业务调用close关闭连接
三、元数据持久化
（1）、备NameNode通知主NameNode生成新的日志文件，以后的日志写到Editlog.new中，并获取旧的Editlog。
（2）、备NameNode从注NameNode上获取FSImage文件及位于JournalNode上面的旧Editlog。
（3）、备NmaeNode将日志和旧的元数据合并，生成新的元数据FSImage.ckpt。
（4）、备NameNode将元数据上传到主NameNode。
（5）、主NameNode将上传的原书记进行回滚。循环步骤1.
四、HDFS高可靠性(HA)
1、HA解决的是一个热备份的问题。
HDFS的高可靠性（HA）架构在基本架构上增加了一下组件：
（1）、 ZooKeeper：分布式协调，主要用来存储HA下的状态文件，主备信息、ZK个数建议3个及以上且为奇数个。
（2）、NameNode主备：NameNode主备模式，主提供服务，备合并元数据并作为主的热备。
（3）、ZKFC（Zookeeper Failover Controller）用于控制NameNode节点的主备状态。
（4）、JN（JournalNode）日志节点：用于共享存储NameNode生成的Editlog。
2、处于待命状态的名称节点和处于活状态的名称节点，它们元数据的两个方面的信息是怎么同步的：
处于待命状态的名称节点当中，它的两方面元数据，一个就是Editlog，它是通过共享存储系统来获得同步的，处于活跃状态的名称节点已发生变化，马上写入到共享存储系统，然后这共享存储系统会通知待命的名称节点把它取走，这样可以保证Editlog上两者可以保持同步。对于映射表信息而言，也就是一个文件包含几个块，这些块被保存到哪个数据节点上面。这种映射信息，它的 实时的维护是通过底层数据节点，不断同时向活跃名称节点和待命节点名称节点汇报来进行维护的。这就是它的基本原理。
