一、HDFS体系结构
1 HDFS假设条件
数据流访问
大数据集
简单相关模型
移动计算比移动数据便宜
多种软硬件平台中的可移植性
2 HDFS的设计目标
非常巨大的分布式文件系统
普通硬件上
批处理
用户控件可以位于异构的操作系统中
单一的命名空间
一致性
文件被分为各个小块
智能客户端
数据就近”原则分配节点执行
客户端对文件没有缓存机制
3 HDFS 架构
1 HDFS架构-文件
块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3）。
存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表以及块所在的DataNode等等。
文件块数据，以及块数据校验和。
可以创建、删除、移动或重命名文件，当文件创建、写入和关闭之后不能修改文件内容。
2 HDFS文件权限
与 linux文件权限类似。
r:read;w:write;x:execute，权限x对于文件忽略，对于文件夹表示是否允许访问其内容。
如果linux系统用户zhangsan使用hadoop命令创建了一个文件，那么这个文件在HDFS中owner就是zhangsan。
HDFS权限目的：阻止好人做错事，而不是阻止坏人做坏事。HDFS相信，你告诉我你是谁，我就认为你是谁。
3 HDFS架构-组件功能
NameNode | DataNode |
存储元数据 | 存储文件内容 |
元数据保存在内存中 | 文件内容保存在磁盘中 |
保存文件、block、DataNode之间的映射关系 | 维护了blockId到DataNode本地文件的映射关系 |
NameNode：
单一节点（简化系统的设计和实现），负责管理文件系统的名字空间（namespace）以及客户端对文件的访问。
元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问跟哪个DataNode的联系，否则NameNode会成为系统瓶颈。
NameNode来控制，根据全局情况作出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低带宽消耗和读取延时。
心跳信号和块状态报告（BlockReport）。接收到心跳信号意味着该DataNode节点工作正常。块状态报告包含了一个该DataNode上所有数据块的列表。
DataNode：
括数据块的长度，块数据的校验和，以及时间戳。
DataNode启动后向NameNode注册，通过后，周期性（1小时）地向NameNode上报所有的块信息。
每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
集群运行中可以安全加入和退出一些机器。
4 HDFS副本放置策略
hadoop 0.17之前 | hadoop 0.17之后 |
副本1：同机架的不同节点 | 副本1：同Client的节点上 |
副本2：同机架的另一个节点 | 副本2：不同机架中的节点上 |
副本3：不同机架的另一个节点 | 副本3：同第二个副本的机架中的另一个节点 |
其他副本：随机挑选 | 其他副本：随机挑选 |
5 HDFS数据损坏（corruption）处理
checksum。
如果计算后的checksum与block创建时值不一样，说明该block已经损坏。
Client读取其他DN上的block。
文件备份数。
DataNode在其文件创建后三周验证其checksum。
6 HDFS架构-Client&SNN
Client | Secondary NameNode |
文件切分 与NameNode交互，获取文件位置信息 与DataNode交互，读取或写入数据 管理HDFS 访问HDFS | 并非NameNode的热备 辅助NameNode，分担其工作量 定期合并fsimage和fsedits，推送给NameNode 在紧急情况下，可辅助恢复NameNode |
7 HDFS架构-NN&SNN
NameNode两个重要的文件：
fsimage：元数据镜像文件（保存文件系统的目录树）
edits：元数据操作日志（针对目录树的修改操作）
元数据镜像：
内存中保存一份最新的
内存中的镜像=fsimage+edits
定期合并fsimage和edits：
edits文件过大导致NameNode重启速度慢
Secondary NameNode负责定期合并他们
NameNode启动过程与fsimag和edits的变化：
执行过程：
Secondary NN通知NN切换editlog -->
-->
-->
-->
NN用新的fsimage替换旧的fsimage
