Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn
文章目录
- Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn
- 一、Hadoop简介
- 1.1、Hadoop框架与模块
- 1.2、Hadoop工作原理
- 二、Hadoop工作模式
- 2.1、hadoop部署
- 2.2、伪分布式
- 2.3、完全分布式
- 三、资源管理器YARN
一、Hadoop简介
1.1、Hadoop框架与模块
Hadoop名字不是一个缩写，是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。
Hadoop起源于Google的三大论文：
- GFS：Google的分布式文件系统Google File System
- MapReduce：Google的MapReduce开源分布式并行计算框架
- BigTable：一个大型的分布式数据库
演变关系：
- GFS—->HDFS
- Google MapReduce—->Hadoop MapReduce
- BigTable—->HBase
hadoop主流版本：
- Apache基金会hadoop
- Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”）
- Hortonworks版本（Hortonworks Data Platform，简称“HDP”）
Hadoop框架包括以下四个模块：
- Hadoop Common:
这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操作系统级抽象，并包含启动Hadoop所需的Java文件和脚本。 - Hadoop YARN: 这是一个用于作业调度和集群资源管理的框架。
- Hadoop Distributed File System (HDFS): 分布式文件系统，提供对应用程序数据的高吞吐量访问。
- Hadoop MapReduce：这是基于YARN的用于并行处理大数据集的系统。
其中最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。
hadoop应用场景：
在线旅游、移动数据、电子商务、能源开采与节能、基础架构管理、图像处理、诈骗检测、IT安全、医疗保健等等
HDFS属于Master与Slave结构。一个集群中只有一个NameNode，可以有多个DataNode。
HDFS存储机制保存了多个副本，当写入1T文件时，我们需要3T的存储，3T的网络流量带宽；系统提供容错机制，副本丢失或宕机可自动恢复，保证系统高可用性。
HDFS默认会将文件分割成block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，会导致内存的负担很重。
HDFS采用的是一次写入多次读取的文件访问模型。一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。
1.2、Hadoop工作原理
HDFS工作机制（HDFS漫画 点击查看）：
客户端向NN请求写数据，NN向客户端返回DN列表，客户端决定以多大的block size切分文件、决定一个block几个副本，接着客户端以数据流的方式发送副本到DN上，除了副本还会发送DN列表给DN，DN一边接收副本一边根据DN列表自动同步副本到其他DN上，当所有副本同步完成后，DN会返回信息给NN：
（1）客户端和DN在同一个节点：第一个副本存放在本机，第二个副本存放在与第一个副本不同的机架中，第三个副本与第二个副本在同一机架内但在不同DN上,，其他后续副本随机（ppt-18）
（2）客户端和DN不在同一个节点：第一个副本随机存放，（其余相同）第二个副本存放在与第一个副本不同的机架中，第三个副本与第二个副本在同一机架内但在不同DN上,，其他后续副本随机
HDFS存储理念是以最少的钱买最烂的机器并实现最安全、难度高的分布式文件系统（高容错性低成本），HDFS认为机器故障是种常态，所以在设计时充分考虑到单个机器故障，单个磁盘故障，单个文件丢失等情况。HDFS容错机制：
节点失败监测机制：DN每隔3秒向NN发送心跳信号，10分钟收不到，认为DN宕机。
通信故障监测机制：只要发送了数据，接收方就会返回确认码。
数据错误监测机制：在传输数据时，同时会发送总和校验码。
二、Hadoop工作模式
2.1、hadoop部署
在真实主机创建两台新的虚拟机server1、server2，先开启一个虚拟机server1（2G内存）
真实主机下载hadoop官方套件，需要jdk环境，发送给server1
创建hadoop用户，切换到这一普通用户运行，不建议使用超级用户身份
使用源码安装（不用rpm包安装）
创建软连接方便后续更新升级，进入/home/hadoop/hadoop/etc/hadoop目录下，编辑hadoop-env.sh脚本文件
配置环境变量
复制/etc/hadoop/*.xml至刚创建的input文件夹内
配置在非分布式模式下作为jar运行，查找并显示匹配正则表达式的内容。 将输出写入到 output目录，output目录会自动创建
output被创建，查看其内容
2.2、伪分布式
编辑/home/hadoop/hadoop/etc/hadoop目录下的hdfs-site.xml文件，以伪分布式模式在单节点上运行，每个 Hadoop 守护进程作为单独的 Java 进程运行。
副本数设置为1
再编辑core-site.xml文件，指定hdfs的NN的ip，由于是伪分布式，所以主从都在一起，填写本机9000端口
查看workers，也是自己
切换到root用户，给hadoop用户加密码，再切换回hadoop用户，做免密，先生成密钥
将密钥复制给localhost
测试免密登录，初始化文件系统
初始化完成后，数据都存放在/tmp。启动NN和DN
jps显示当前开启的java进程，使用此命令需要将jps命令添加到环境变量
编辑.bash_profile添加java环境变量
重新读取环境变量，再次使用jps命令，可以看到启动的进程，secondnode表示当master的NN down掉后由它来接管
浏览器访问server1的9870端口进入hadoop页面
9870是hadoop默认的监听端口，9000是Namenode和Datanode的连接端口
server1输入bin/hdfs dfsadmin -report通过命令行查看文件系统
文件系统信息如图
创建用户主目录，注意用户要一致，查看上传目录没有文件，上传input目录
命令行查看上传目录，可以看到input目录
也可以通过浏览器图形化界面界面查看文件系统
输入用户主目录点击Go，可以看到目录内容
点击打开input目录可以看到包含的所有文件
此时bin命令进行统计，input不是本地的，以单词数统计input目录内容将结果输出到output
本地删除output目录，再查看还是可以看到该目录及其内容，因为已经上传到了分布式中
在hadoop页面中可以看到该目录
点击进入output目录，查看其包含的内容
server1本地在分布式中下载output目录，然后切换到该目录查看其内容，正常
2.3、完全分布式
真实主机再开启虚拟机server3
虚拟机都正常运行，server2和server3作为DN，完全分布式部署需要将DN和NN分开，NameNode-master只保留源数据，不存储数据
server1编辑hdfs-site.xml,将副本数量改为2
再编辑core-site.xml文件，将本机地址设置为master节点
再编辑workers，指定server3和server4是数据节点
server1安装nfs-utils文件系统
安装完成后，查看hadoop用户uid为1000，gid为1000，共享/home/hadoop目录，赋予读写权限，匿名用户uid和gid与master节点的hadoop用户一致，重启nfs服务
server2和server3添加hadoop用户，安装nfs文件系统
server2挂载nfs中server1分享的/home/hadoop目录到本地的/home/hadoop目录，然后切换到hadoop用户
server3也做同样的操作
server1切换到hadoop用户，进入hadoop目录下，将之前的伪分布式部署停止，重新格式化
重新格式化文件系统后数据会清除
server1测试与server2和server3的ssh免密连接，成功连接
server2和server3也分别与其他两个节点测试免密连接，也成功了，因为使用nfs文件系统，挂载目录下的数据都是同步的。
server1开启nfs，使用jps查看java进程，可以看到作为NN节点运行
server2和server3查看java进程，可以看到作为DN节点在运行
浏览器访问hadoop图形化页面，点击查看DN节点信息，可以看到server2和server3正常显示
因为重新格式化文件系统，之前数据都被清除
server1在dfs创建虚拟目录/user/hadoop，将input目录上传至文件系统，以单词数统计input目录内容将结果输出到output
在web页面中此时可以看到刚才上传的两目录
点击进入input目录，可以正常查看目录内容
进入output目录，内容正常显示
我们可以进行如下操作来再添加一个DN节点真实主机再开启一台虚拟机server4
server4安装nfs
server2创建用户hadoop，挂载nfs中server1分享的/home/hadoop目录到本地的/home/hadoop目录，然后切换到hadoop用户进行测试
server4进入到/etc/hadoop/目录下，编辑workers，将自己添加进工作节点
server4返回到上上级目录，运行DN节点进程
现在hadoop页面上可以看到server4加入到工作节点
三、资源管理器YARN
RM:resourcemanager工作原理：
客户端向RM（ResourceManager）申请，RM上有一个任务队列，RM向客户端返回app所需资源路径，接着客户端向RM申请运行AM，AM在NM上运行，AM向RM继续申请资源，RM会把job分布式地分给NM运行，一旦所有job运行完成，AM注销并释放容器（逻辑层面）资源
server1编辑etc/hadoop/mapred-site.xml文件，添加mapreduce模块，$HADOOP_MAPERD_HOME变量稍后会在环境变量中定义
再编辑yarn-site.xml文件，添加nodemanager模块
再编辑hadoop-env.sh环境变量文件，定义HADOOP_MAPERD_HOME变量
依次将三个文件配置完毕：使用YARN、白名单列表、定义变量
server1开启yarn，jps查看java进程，可以看到ResourceManager运行
DN节点server2、server3和server4查看java进程，可以看到NodeManager正在运行
浏览器访问server1的8088端口可以查看资源管理页面
