Hadoop概述
一、hadoop是什么?
- hadoop是一个由Apache基金会开发的分布式系统基础架构
- 主要解决,海量数据的存储和海量数据的分析计算问题
- 广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈
二、Hadoop发展史
略
三、Hadoop三大发行版本
Apache 版本最原始(最基础)的版本,对于入门学习最好。2006
Cloudera 内部集成了很多大数据框架,对应产品 CDH。2008
Hortonworks 文档较好,对应产品 HDP。2011
Hortonworks 现在已经被 Cloudera 公司收购,推出新的品牌 CDP。
- Apache Hadoop
官网地址:http://hadoop.apache.org
下载地址:https://hadoop.apache.org/releases.html
- Cloudera Hadoop
官网地址:https://www.cloudera.com/downloads/cdh
下载地址:https://docs.cloudera.com/documentation/enterprise/6/releasenotes/topics/rg_cdh_6_download.htm
(1)2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 Hadoop 的 商用解决方案, 主要是包括支持、咨询服务、培训。
(2)2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司。Cloudera 产品主 要为 CDH, Cloudera Manager,Cloudera Support
(3)CDH 是 Cloudera 的 Hadoop 发行版,完全开源,比 Apache Hadoop 在兼容性,安 全性,稳定性上 有所增强。Cloudera 的标价为每年每个节点 10000 美元。
(4)Cloudera Manager 是集群的软件分发及管理监控平台,可以在几个小时内部署好一 个 Hadoop 集 群,并对集群的节点及服务进行实时监控。
- Hortonworks Hadoop
官网地址:https://hortonworks.com/products/data-center/hdp/
下载地址:https://hortonworks.com/downloads/#data-platform
四、Hadoop优势(4高)
- 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失
- 高扩展性:在集群间分配任务数据,可方便的拓展数以千计的节点。
- 高效性:在MapReduce思想下,Hadoop是并行工作的,以提高任务的运行效率
- 高容错性:能够自动将失败的任务重新分配
五、Hadoop组成(面试重点)
Hadoop 不同版本的组成区别
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CAm3DPME-1652796204377)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20220511150250116.png)]
在 Hadoop1.x 时 代 , Hadoop中 的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。
在Hadoop2.x时 代,增加了Yarn。Yarn只负责资源的调度 , MapReduce只负责运算。 Hadoop3.x在组成上没 有变化。
1.HDFS架构概述
Hadoop Distributed File System,简称HDFS,是一个分布式文件系统
- NameNode(NN):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、权限信息),以及每个文件的块列表和块所在的DataNode等。
- DataNode(DN):在本地文件系统存储文件块数据,以及块数据的校验和。
- Secondary NameNode(2NN):每隔一段时间对NameNode元数据备份。
2.YARN架构概述
Yet Another Resource Negotiator 简称 YARN,另一种资源协调者,是Hadoop的资源管理器。
- ResourceManager(RM):整个集群资源(内存、cpu等)的管理、调度者(老大)
- NodeManager(NM):单个节点服务器资源的老大
- ApplicationMaster(AM):单个任务运行的老大
- Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、cpu、磁盘、网络等。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ScmJeSei-1652796204378)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20220511161112185.png)]
客户端可以有多个
集群上可以运行多个ApplicationMaster
每个NodeManager上可以有多个Container
3.MapReduce架构概述
MapReduce将计算过程分为两个阶段:Map和Reduce
- Map阶段并行处理输入数据
- Reduce阶段对Map结果进行汇总
HDFS、YARN、MapReduce三者关系