Hadoop框架组成:

  1.x 系列  MapReduce 负责资源调度及任务计算  HDFS 负责数据存储 Common 其他辅助工具

  2.x 系列 YARN负责资源的调度 MapReduce负责任务的计算 HDFS负责数据存储 Common其他辅助工具

  3.x 系列 和2.x系列一致

Hadoop Distributed File System  简称HDFS

  成员:

    NameNode:存储文件的元数据,如:文件名、文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块(block)列表和块(block)所在的DataNode等。

    DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。

    Seconday NameNode(2nn) :每隔一段时间(一个小时或数据量满一百万条)对NameNode进行数据备份

Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop的资源管理器。

  成员:

    ResourceManager(RM):整个集群资源(内存、CPU)的老大

    NodeManager(NM):单个节点服务器资源老大

    Application Master(AM):单个任务运行的老大

    Container:容器,里面封装了任务所需要的资源。(CPU、内存、磁盘、网络等)