hadoop配置历史服务器目的 hadoop历史服务器进不去

集群奔溃问题

一句话，不管集群怎么坏。只要etc，bin，这些基础目录没问题，就按以下方法解决。

1. 先停止服务

sbin/stop-dfs.sh

2.删除data和logs

删除每个服务器上的data和logs

rm -rf data/ logs/

3.格式化

102机器上：hdfs namenode -format

启动集群：sbin/start-dfs.sh

---

集群奔溃的原因

 

这套集群有datanode,namenode,版本号

---

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

配置 mapred-site.xml

vim mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
	 <name>mapreduce.jobhistory.address</name>
	 <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
	 <name>mapreduce.jobhistory.webapp.address</name>
	 <value>hadoop102:19888</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

注意，

修改了配置就一定要重启hdfs和yarn，免得出现问题。

sbin/stop-dfs.sh

sbin/stop-yarn.sh

在 hadoop102 启动历史服务器

mapred --daemon start historyserver

-daemon是启动守护线程，可理解为后台启动

查看历史服务器是否启动

jps

查看 JobHistory

http://hadoop102:19888/jobhistory

成功！

 

---

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和
HistoryServer。

开启日志聚集功能具体步骤如下：

配置 yarn-site.xml

 vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
	 <name>yarn.log-aggregation-enable</name>
	 <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property> 
	 <name>yarn.log.server.url</name> 
	<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/yarnsite.xml

重启 NodeManager 、ResourceManager 和 HistoryServer

mapred --daemon stop historyserver

在102上启动历史服务器

mapred --daemon start historyserver

sbin/stop-dfs.sh

sbin/stop-yarn.sh

sbin/start-dfs.sh

sbin/start-yarn.sh

删除 HDFS 上已经存在的输出文件

hadoop fs -rm -r /output

执行 WordCount 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

查看日志

历史服务器地址
http://hadoop102:19888/jobhistory

一波操作下来发现，忘记启历史服务器了，我恨，再来一遍

历史任务列表

 

 

 

成功！

---

两个常用脚本

总结集群启动/停止方式

1. 整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

2.整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

3.分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

4.启动/停止YARN

yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

1. Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver):

myhadoop.sh

cd /home/atguigu/bin

vim myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
		ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

赋予权限：

chmod 777 myhadoop.sh 

测试运行一波

[zuck@hadoop102 ~]$ bin/myhadoop.sh stop

但是每启动一次服务器，就需要jps一台，效率太低下。

查看三台服务器Java进程脚本：jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall
 

#!/bin/bash

# 执行jps命令查询每台服务器上的节点状态
echo ======================集群节点状态====================

for host in hadoop102 hadoop103 hadoop104
do
        echo ====================== $host ====================
        ssh $host 'jps'
done
echo ======================执行完毕====================

修改使其具有执行权限：chmod 777 jpsall

测试运行情况：

[zuck@hadoop102 bin]$ vim jpsall 
[zuck@hadoop102 bin]$ /home/zuck/bin/jpsall 
======================集群节点状态====================
====================== hadoop102 ====================
17617 NodeManager
17795 JobHistoryServer
17301 DataNode
17174 NameNode
18141 Jps
====================== hadoop103 ====================
14466 ResourceManager
14586 NodeManager
15083 Jps
14284 DataNode
====================== hadoop104 ====================
13024 Jps
12530 DataNode
12745 NodeManager
12638 SecondaryNameNode
======================执行完毕====================

分发到其他服务器

xsync bin/jpsall

---

两道面试题

一、Hadoop搭建中，常用端口号说明

 

二、常用的配置文件

版本
3.x	core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml	workers
2.x	core-site.xml	hdfs-site.xml	yarn-site.xml	mapred-site.xml	slaves

---

集群时间同步

【注意，这个集群时间同步的配置，目前来说不需要弄。因为我们的虚拟机是与外网连接的。因此可以跳过这里后续步骤】

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
        如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1）需求

        找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2）时间服务器配置（必须root用户）

（1）查看所有节点ntpd服务状态和开机自启动状态
sudo systemctl status ntpd
sudo systemctl start ntpd
sudo systemctl is-enabled ntpd
(第3条，开机启动服务）

运行结果：

[root@hadoop102 zuck]# sudo systemctl status ntpd
● ntpd.service - Network Time Service
   Loaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

---

[root@hadoop102 zuck]# sudo systemctl start ntpd
[root@hadoop102 zuck]# sudo systemctl status ntpd
● ntpd.service - Network Time Service
   Loaded: loaded (/usr/lib/systemd/system/ntpd.service; disabled; vendor preset: disabled)
   Active: active (running) since Thu 2021-11-11 05:32:49 PST; 1s ago
  Process: 18511 ExecStart=/usr/sbin/ntpd -u ntp:ntp $OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 18512 (ntpd)
    Tasks: 1
   CGroup: /system.slice/ntpd.service
           └─18512 /usr/sbin/ntpd -u ntp:ntp -g

Nov 11 05:32:49 hadoop102 ntpd[18512]: Listen and drop on 1 v6wildcard :: UDP 123
Nov 11 05:32:49 hadoop102 ntpd[18512]: Listen normally on 2 lo 127.0.0.1 UDP 123
Nov 11 05:32:49 hadoop102 ntpd[18512]: Listen normally on 3 ens33 192.168.10.102 UDP 123
Nov 11 05:32:49 hadoop102 ntpd[18512]: Listen normally on 4 virbr0 192.168.122.1 UDP 123
Nov 11 05:32:49 hadoop102 ntpd[18512]: Listen normally on 5 lo ::1 UDP 123
Nov 11 05:32:49 hadoop102 ntpd[18512]: Listen normally on 6 ens33 fe80::20c:29ff:fea8:bd57 UDP 123
Nov 11 05:32:49 hadoop102 ntpd[18512]: Listening on routing socket on fd #23 for interface updates
Nov 11 05:32:49 hadoop102 ntpd[18512]: 0.0.0.0 c016 06 restart
Nov 11 05:32:49 hadoop102 ntpd[18512]: 0.0.0.0 c012 02 freq_set kernel 0.000 PPM
Nov 11 05:32:49 hadoop102 ntpd[18512]: 0.0.0.0 c011 01 freq_not_set
 

---

 （2）修改hadoop102的ntp.conf配置文件

sudo vim /etc/ntp.conf

修改内容如下
（a）修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）

修改#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
为restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
 

我的网段是192.168.10.x，我需要运行别人能够访问，102这台服务器。去掉这里的注释。

（b）修改2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

这里是连接外部的时钟，这里102自己的时钟，不需要外网的时钟。

（c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10
 

在文件末尾追加

（3）修改hadoop102的/etc/sysconfig/ntpd 文件
[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd
增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes
 

为了让时间更加准确

（4）重新启动ntpd服务
[atguigu@hadoop102 ~]$ sudo systemctl start ntpd
 

（5）设置ntpd服务开机启动
[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd
 

3）其他机器配置（必须root用户）

接下来配置103和104，定期跟102同步。

（1）关闭所有节点上ntp服务和自启动
[atguigu@hadoop103 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop103 ~]$ sudo systemctl disable ntpd
[atguigu@hadoop104 ~]$ sudo systemctl stop ntpd
[atguigu@hadoop104 ~]$ sudo systemctl disable ntpd

跟外网的同步断开

（2）在其他机器配置1分钟与时间服务器同步一次
[atguigu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：
*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间
[atguigu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"
（4）1分钟后查看机器是否与时间服务器同步
[atguigu@hadoop103 ~]$ sudo date
 

---

常见问题总结

1）防火墙没关闭、或者没有启动YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误
3）IP地址配置错误
4）ssh没有配置好
5）root用户和atguigu两个用户启动集群不统一
6）配置文件修改不细心
7）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102

        at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

        at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts文件中添加192.168.10.102 hadoop102

    （2）主机名称不要起hadoop  hadoop000等特殊名称

8）DataNode和NameNode进程同时只能工作一个。

9）执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效
解决办法：尽量不要粘贴Word中代码。
10）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。
原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。
11）jps不生效
原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。
12）8088端口连接不上
[atguigu@hadoop102 桌面]$ cat /etc/hosts
注释掉如下代码
#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         hadoop102
 

演示删除问题

在web页面去删除时，发现没有权限。

 

是因为之前配置core-site.xml时

没有配置以下内容

<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
	 <property>
		 <name>hadoop.http.staticuser.user</name>
		 <value>atguigu</value>
	 </property>

然后分发

xsync core-site.xml

关闭集群，重启集群，查看集群状态

/home/zuck/bin/myhadoop.sh stop
/home/zuck/bin/myhadoop.sh start
/home/zuck/bin/jpsall

此时再登陆WEB页面，就可以操作删除文件了。

---

其他知识点

 

 

---

至此，Hadoop入门就已经完成了。