守护进程

在上一篇文章中我写了如何搭建单节点的hadoop，在搭建完成后，我们通过jps查看了hadoop 的进程，一共有五个，他们分别是：

  • NameNode
  • DataNode
  • SecondaryNameNode
  • ResourceManager
  • NodeManager
NameNode

hdfs有两个核心，namenode就是其中的主节点，他就像一个领导者，负责协调和分配各项工作和任务。
简单的说他的功能主要有三点：

  • 管理文件系统文件的元数据信息（包括文件名称、大小、位置、属性、创建时间、修改时间等等）
  • 维护文件到块的对应关系和块到节点的对应关系（维护目录树）
  • 维护用户对文件的操作信息（文件的增删改查）
DataNode

hdfs的另一个核心，从节点，通常是有多个组成。它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个 datanode 守护进程。

SecondaryNameNode

一个被命名忽悠的模块。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。称其为检查节点更为合适，因为他是提供周期检查和清理的。


ResourceManager

ResourceManager是整个YARN集群中最重要的组件之一，负责集群中所有资源的统一管理和分配，它接受来自各个节点(NodeManager)的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序(即ApplicationMaster)。

主要有以下功能：

  • 处理来自客户端的请求。
  • 启动和管理ApplicatinMaster,并在它运行失败时重新启动它。
  • 管理NodeManager，接受来自NodeManager的资源管理汇报信息，并向NodeManager下达管理命令。
  • 资源管理与调度，接收来自ApplicationMaster的资源申请请求，并为之分配资源（核心）。


NodeManager

NodeManager是执行在单个节点上的代理，它管理Hadoop集群中单个计算节点，功能包含与ResourceManager保持通信等。

END!