NameNode SecondaryNameNode 工作机制

NameNode元数据储存问题引入

思考：NameNode中的元数据是存储在哪里的？ - 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 - 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。 - 但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。

Fsimage Edits 概念

  • NameNode被格式化之后，将在/develop/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下的文件




HDFS数据存储和备份元数据信息 hdfs元数据更新和备份过程_元数据


  • Fsimage文件是HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统中所有的目录和文件inode的序列化信息。
  • NameNode被格式化之后，将在/develop/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下的文件


HDFS数据存储和备份元数据信息 hdfs元数据更新和备份过程_hadoop元数据合并过程_02


  • Edits文件，存放HDFS文件系统的所有更新操作的路径操作，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。
  • seen_txid文件保存的是一个数字，是最后一个edits_的数字

NameNode SecondaryNameNode 工作流程详述

NameNode SecondaryNameNode 工作流程，可以概括为：每次NameNode启动的时候都会将Fsimaage文件读取内存，然后加载Edits里面的更新操作，保证内存中元数据信息是最新的，同步的，可以视为NameNode启动的时候就将Fsimage和Edits文件进行了合并。


HDFS数据存储和备份元数据信息 hdfs元数据更新和备份过程_元数据_03


NodeName 工作流程

  1. 第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，先加载Fsimage文件到内存中，然后加载Edits文件到内存中。并给Edits文件打标记，并生成一个空的edits_inprogress文件。此时NameNode内存就持有最新的元数据信息。


HDFS数据存储和备份元数据信息 hdfs元数据更新和备份过程_文件系统_04


  1. Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits_inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息 ）

SecondaryNameNode 工作流程

  • SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。
  • 由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。
  • SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。
  • SecondaryNameNode执行CheckPoint操作。
  • 首先会让NameNode给正在写的Edits打标记，并生成一个新的空的edits_inprogress文件，以后所有新的操作都写入edits_inprogress。
  • 其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地。
  • 在SecondaryNameNode 上将拷贝的Edits和Fsimage加载到内存中进行合并
  • 生成新的fsimage.chkpoint文件，包含上一步合并的数据信息
  • 将fsimage.chkpoint拷贝给NameNode
  • 在NameNode上将fsimage.chkpoint重命名为Fsimage后替换掉原来的Fsimage

NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

CheckPoint触发时间

  1. 通常情况下，SecondaryNameNode每隔一小时执行一次checkPoint
  2. 一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次checkPoint