大数据学习之hdfs学习笔记
一、hdfs架构的简述
a.什么是hdfs
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器。对外部客户机而言，HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。很多时候，我们就叫它DFS（Distributed File System）所以可以理解为hadoop是一个框架，HDFS是hadoop中的一个部件
b.hdfs必要性
当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上，而HDFS以流处理访问模式来存储文件的。
b.hdfs特点
HDFS 的优点：
1、高容错性
1)数据自动保存多个副本。它通过增加副本的形式，提高容错性
2)某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。
2、适合批处理
1)它是通过移动计算而不是移动数据
2)它会把数据位置暴露给计算框架。
3、适合大数据处理
1)处理数据达到 GB、TB、甚至PB级别的数据。
2)能够处理百万规模以上的文件数量，数量相当之大。
3)能够处理10K节点的规模
4、流式文件访问
1)一次写入，多次读取。文件一旦写入不能修改，只能追加。
2)它能保证数据的一致性。
5、可构建在廉价机器上
1)它通过多副本机制，提高可靠性。
2)它提供了容错和恢复机制。比如某一个副本丢失，可以通过其它副本来恢复。
HDFS 缺点（不适用适用HDFS的场景）：
1、低延时数据访问
1)比如毫秒级的来存储数据，这是不行的，它做不到。
2)它适合高吞吐率的场景，就是在某一时间内写入大量的数据。但是它在低延时的情况下是不行的，比如毫秒级以内读取数据，这样它是很难做到的。
2、小文件存储
1)存储大量小文件的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
2)小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。
3、并发写入、文件随机修改
1)一个文件只能有一个写，不允许多个线程同时写。
2)仅支持数据 append（追加），不支持文件的随机修改。
c.存储方式
二、hdfs读写策略
a.采用Master-Slaver模式：
NameNode中心服务器（Master）:维护文件系统树、以及整棵树内的文件目录、负责整个数据集群的管理。
DataNode分布在不同的机架上（Slaver）：在客户端或者NameNode的调度下，存储并检索数据块，并且定期向NameNode发送所存储的数据块的列表。
客户端与NameNode获取元数据；
与DataNode交互获取数据。
默认情况下，每个DataNode都保存了3个副本，其中两个保存在同一个机架的两个不同的节点上。另一个副本放在不同机架上的节点上。
b.基本概念
机架：HDFS集群，由分布在多个机架上的大量DataNode组成，不同机架之间节点通过交换机通信，HDFS通过机架感知策略，使NameNode能够确定每个DataNode所属的机架ID，使用副本存放策略，来改进数据的可靠性、可用性和网络带宽的利用率。
数据块(block)：HDFS最基本的存储单元，默认为64M，用户可以自行设置大小。
元数据：指HDFS文件系统中，文件和目录的属性信息。HDFS实现时，采用了 镜像文件（Fsimage） + 日志文件（EditLog）的备份机制。文件的镜像文件中内容包括：修改时间、访问时间、数据块大小、组成文件的数据块的存储位置信息。目录的镜像文件内容包括：修改时间、访问控制权限等信息。日志文件记录的是：HDFS的更新操作。
NameNode启动的时候，会将镜像文件和日志文件的内容在内存中合并。把内存中的元数据更新到最新状态。
用户数据：HDFS存储的大部分都是用户数据，以数据块的形式存放在DataNode上。
在HDFS中，NameNode 和 DataNode之间使用TCP协议进行通信。DataNode每3s向NameNode发送一个心跳。每10次心跳后，向NameNode发送一个数据块报告自己的信息，通过这些信息，NameNode能够重建元数据，并确保每个数据块有足够的副本。
读操作示意图
写操作示意图
