一、角色职责介绍
Hadoop Distributed File System (HDFS,分布式文件系统) :HDFS 是 Hadoop 应用程序使用分布式存储，HDFS 集群主要由管理文件系统元数据的 NameNode 和存储实际数据的 DataNode
- NameNode
仅存储HDFS的元数据，文件系统中的所有文件的目录树，并跟踪整个集群中的文件，不存储实际数据； - NameNode是Hadoop集群中的
单点故障； - NameNode是访问HDFS的
唯一入口； - NameNode
不持久化存储每个文件中各个block的位置信息，这些信息会在系统启动时从DataNode重建； - NameNode所在的机器通常有
大量内存（RAM）；
- DataNode 负责最终
数据块block的存储； - DataNode 启动时会将自己注册到NameNode，
主动向NameNode汇报自己负责持有的block信息； - DataNode
某DataNode关闭不会影响数据的可用性，NameNode将安排由其他DataNode管理的block进行副本复制； - DataNode 所在的机器通常有
大量硬盘空间；
- Secondary NameNode
充当NameNode的辅助节点，但是不能替代NameNode； - Secondary NameNode 主要是
帮助主角色进行元数据文件的合并动作；
二、角色工作机制流程
1、核心概念：
（1）默认三副本存储策略【Hadoop3.x】：
- 第一块副本：若clien在机器群节点上，优先存储在客户端本地【绿色】，否则随机【蓝色】；
- 第二块副本：存储在不同于第一块副本的机架中；
- 第三块副本：第二块副本相同的机架的不同机器中；
a、官方描述：
https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication b、注意事项：Hadoop3.x与Hadoop2.x在三副本存储策略上有稍微的不同
|
|
c、三副本存储策略的优缺点
一个简单但非最佳的策略是将副本放置在唯一的机架上，这可以防止在整个机架发生故障时丢失数据，并允许在读取数据时使用来自多个机架的带宽。此策略在集群中均匀分布副本，这使得在组件故障时平衡负载变得容易。但是，此策略增加了写入的成本，因为一次写入需要将块传输到多个机架。
（2）Pipeline管道：
数据以管道的方式，按照顺序沿着一个方向传输，这样能够充分利用每个机器的带宽，避免网络瓶颈和高延迟的连接，最小化推送所有数据的延时。
2、工作流程： （1）HDFS客户端会创建对象实例DitribureFileSystem，该对象中封装了与HDFS文件系统操作的相关方法；
（2）上传过程即调用了DitribureFileSystem的create()方法，通过RPC请求NameNode创建文件，NameNode接收到请求后不会立刻去建立文件，而是通过一系列的校验；
例如：文件是否存在、父目录是否存在、该客户端是否具备创建权限等；
（3）校验成功后，返回输出流对象（FSDataOutputStream）给客户端，用于写数据；
（4）客户端通过返回的输出流开始写入数据，客户端写入数据时，将数据切分成为一个个数据包（packet 默认64k ），内部组件DataStream将数据包通过Pipeline传输到第一个DataNode上，DataNode依次传递至最后一个DataNode【三副本策略】；
（5）当数据包通过Pipeline传输到DataNode上是会有ack机制进行校验是否传输成功；当数据从第一个Pipeline传输到第一个DataNode上是，即给客户端返回数据写入成功。受dfs.namenode.replication.min参数指定影响，参数默认值为1；
（6）客户端数据写入成功后，输出流对象（FSDataOutputStream）调用close()方法关闭；
