一、启动Hadoop集群
1.格式化
到/opt/server/hadoop/sbin文件目录下格式化HDFS文件（如果不会可以看后面哦）
(第一次部署才格式化，不需要每次都格式化，如果出错就删除data再格式化）
2.启动hadoop集群
①./start-dfs.sh
② ./start-yarn.sh（yarn服务）
③./start-all.sh
3.查看进程
jps
4.web网站访问
（1）ip+端口
（2）第一次加载网页可能无法加载，我们可以采取以下这个方法
①关闭防火墙 ： systemctl stop firewalld.service
②查看 ： systemctl status firewalld.service
③防火墙失效设置 ： systemctl disable firewalld.srvice
二、停止Hadoop集群
停止Hadoop
①./stop-dfs.sh
②./stop-yarn.sh（yarn服务）
③./start-all.sh
三、编辑脚本文件
1.切换目录和编辑hadoop.sh集群控制文件
①cd /opt/script
②vim hadoop.sh
2.脚本文件内容（wq保存）
#!/bin/bash
case $1 in
"start"){
/opt/server/hadoop/sbin/start-dfs.sh
/opt/server/hadoop/sbin/start-yarn.sh
};;
"stop"){
/opt/server/hadoop/sbin/stop-dfs.sh
/opt/server/hadoop/sbin/stop-yarn.sh
};;
esac
3.授权
①ll
② chmod 777 hadoop.sh
4.启动与停止Hadoop集群
①./hadoop.sh start
②./hadoop.sh stop
③jps
5.切换目录和编辑xcall.sh集群控制文件
①cd /opt/script
②vim xcall.sh
6.xcall 脚本文件内容(wq保存）
#!/bin/bash
params=$@
for (( i=1 ; i <=3 ; i = $i + 1 )) ; do
echo =============== hadoop$i $params =============
ssh hadoop$i "source /etc/profile;$params"
done
7. 授权 ①ll 查看 ②chmod 777 xcall.sh
8.执行脚本
①./xcall.sh jps 查看进程
②./xcall.sh hostname
格式化操作步骤
1.修改配置环境变量
①vi /etc/profile
②追加内容
export HADOOP_HOME=/opt/server/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
③source /etc/profile
④hadoop version 验证hadoop是否安装成功
2.配置hadoop参数
①cd /opt/server/hadoop-3.2.2/etc/hadoop
②配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<!-- 用于指定namenode地址在机器master上-->
<value>hdfs://hadoop1:8020</value>
</property>
<!-- 用于配置hadoop的数据目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/server/hadoop-3.2.2/data</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!--指定HDFS副本的数量，不能超过机器节点数-->
<property>
<name>dfs, replication</name>
<value>3</value>
</property>
<!--为secondary namenode配置所在的IP和端口-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:50090</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- 指定yarn集群的管理者（resourcemanger)的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
⑤配置mapred-site.xml
<configuration>
<!-- 指定MapReduce运行时框架，这里指定在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.配置worker
①cd /local/soft/hadoop-3.2.2/etc/hadoop
②vi worker 插入更写
3.编辑hadoop-env.sh
export JAVA_HOME=/opt/server/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"
4.永久关闭防火墙
①关闭防火墙 ： systemctl stop firewalld.service
②查看 ： systemctl status firewalld.service
③防火墙失效设置 ： systemctl disable firewalld.srvice
5.分发Hadoop文件
①cd /lopt/server
②scp -r /opt/server/ root@ip:/opt/ 分发到其他两台
6.集群格式化
①cd /opt/server/hadoop-3.2.2/sbin 切换目录
②hdfs namenode -format 格式化
③如果格式化失败就删除data重新格式化
7.集群启动
①cd /opt/server/hadoop-3.2.2/sbin
②./start-dfs.sh
③ ./start-yarn.sh（yarn服务）
④./start-all.sh
8.查看进程启动情况
jps
9.如果进程缺失可以查日志
①cd /opt/server/hadoop-3.2.2/logs
②more +出错日志 （基本是配置文件和格式化错误）
谢谢观看
