Hadoop框架组成:
1.x 系列 MapReduce 负责资源调度及任务计算 HDFS 负责数据存储 Common 其他辅助工具
2.x 系列 YARN负责资源的调度 MapReduce负责任务的计算 HDFS负责数据存储 Common其他辅助工具
3.x 系列 和2.x系列一致
Hadoop Distributed File System 简称HDFS
成员:
NameNode:存储文件的元数据,如:文件名、文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块(block)列表和块(block)所在的DataNode等。
DataNode:在本地文件系统存储文件块数据,以及块数据的校验和。
Seconday NameNode(2nn) :每隔一段时间(一个小时或数据量满一百万条)对NameNode进行数据备份
Yet Another Resource Negotiator 简称YARN ,另一种资源协调者,是Hadoop的资源管理器。
成员:
ResourceManager(RM):整个集群资源(内存、CPU)的老大
NodeManager(NM):单个节点服务器资源老大
Application Master(AM):单个任务运行的老大
Container:容器,里面封装了任务所需要的资源。(CPU、内存、磁盘、网络等)