文章目录
- 一、大数据概述
- 二、Hadoop是什么
- 2.1 HDFS架构概述（大硬盘）
- 2.2 YARN架构概述（资源调度）
- 2.3 MapReduce架构概述（计算）
- 2.4 大数据技术生态体系
一、大数据概述
大数据(Big Data) :指无法在一定时间范围内用常规软件工具进行捕捉管理
和处理的数居集合,是需要新处理模式才能具有更强的决策力、洞穿发现力和流程
优化能力的海量、高增长率和多样化的信息资产
主要解决：海量数据的存储和海量数据的分析计算问题。
二、Hadoop是什么
（1）Hadoop是一种分析和处理大数据的软件平台，是一个由Apache基金会所开发的分布式系统基础架构，在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。
Hadoop以一种可靠、高效、可伸缩的方式进行数据处理；用户可以在不了解分布式底层细节的情况下，开发分布式程序
（2）主要解决，海量数据的存储和海量数据的分析计算问题。
（3）广义上来说,Hadoop通常是指一个更广泛的概念Hadoop生态圈。
创建：Doug Cutting
解决，存储数据困难，检索速度慢。
Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
- GFS–>HDFS
- Map-Reduce—MR
- BigTable —>HBase
Hadoop三大发行版本: Apache, Cloudera, Hortonworks。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。
- 把HDFS理解为一个分布式的，有冗余备份的，可以动态扩展的用来存储大规模数据的大硬盘。
- 把MapReduce理解成为一个计算引擎，按照MapReduce的规则编写Map计算/Reduce计算的程序，可以完成计算任务。
Hadoop1.x和Hadoop2.x区别
- 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
- 在Hadoop2.x时代，增加了Yarn，Yarn只负责资源的调度，MapReduce只负责运算。
2.1 HDFS架构概述（大硬盘）
前面说到
HDFS可理解为一个分布式的，有冗余备份的，可以动态扩展的用来存储大规模数据的大硬盘。
它由三个部分组成
（1） NameNode (mn )：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
（2）DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
（3）Secondary NameNode（2mn）：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
2.2 YARN架构概述（资源调度）
节点 == 服务器 ==电脑
1）ResourceManager（RM）主要作用如下
（1）处理客户端请求
（2）监控NodeManager
（3）启动或监控ApplicationMaster
（4）资源的分配与调度
2）NodeManager（NM）主要作用如下
（1）管理单个节点上的资源
（2）处理来自ResourceManager的命令
（3）处理来自ApplicationMaster的命令
3）ApplicationMaster（AM）作用如下
（1）负责数据的切分
（2）为应用程序申请资源并分配给内部的任务
（3）任务的监控与容错
4）Container Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
2.3 MapReduce架构概述（计算）
MapReduce将计算过程分为两个阶段：Map和Reduce
- 1）Map 阶段并行处理输入数据---------》分
- 2）Reduce 阶段对Map结果进行汇总----------》合
2.4 大数据技术生态体系
从来源–》传输–》存储–》管理–》计算-分析 --》任务调度–》业务xxx
