hadoop云管理 基于hadoop的云计算平台搭建

系列文章目录

Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）
Hadoop第二章：集群搭建（中）
Hadoop第二章：集群搭建（下）

---

文章目录

• 系列文章目录
• 前言
• 一、配置历史服务器

• 1.配置文件
• 2.分发脚本
• 3.启动历史服务器

• 二、常用脚本

• 1.快速启动/关闭
• 2.查看状态
• 3.分发使用

• 总结

---

前言

这次应该就是Hadoop集群搭建的最后一次了。最后完成一些群集搭建的后续任务。

---

一、配置历史服务器

上一次我们完成了一个简单的分布式计算，现在我们想查看历史信息。

这时就会报错，就是因为我们没有配置历史服务器。

1.配置文件

vim /opt/module/hadoop-3.2.3/etc/hadoop/mapred-site.xml 

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

继续追加

2.分发脚本

xsync /opt/module/hadoop-3.2.3/etc/hadoop/

然后重启集群服务，这个不演示了。

3.启动历史服务器

历史服务器是配置在Hadoop102上，所以102启动历史服务。

mapred --daemon start historyserver

从新进行云计算
计算之前要把之前的结果删掉，不然会报错。

hadoop fs -rm -r /wcoutput
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount /wcinput /wcoutput

然后web访问历史记录。

http://hadoop102:19888/jobhistory/

因为我进行了多次实验，可能记录比较多。

二、常用脚本

1.快速启动/关闭

当服务器很多的我们无法一个一个机器的启动，所以要使用shell脚本。

cd /home/atguigu/bin/
vim myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.2.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.2.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.2.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.2.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.2.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.2.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

#最后给权限
chmod +x myhadoop.sh

2.查看状态

vim jpsall

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps
done

3.分发使用

myhadoop.sh stop

jpsall

咱们在启动一下。

myhadoop.sh start

总结

Hadoop的集群搭建，算是结束了，hadoop学习才仅仅是刚刚开始。任重而道远啊。