Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
➢ 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
➢ 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模 拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
➢ 完全分布式模式：多台服务器组成分布式环境。生产环境使用。
1、本地运行模式
例子：执行官方统计单词的文档WordCount
·创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹：mkdir wcinput
·在文件下创建一个word.txt文件：cd wcinput，编辑文件：vim word.txt，输入随机的单词。
·回到目录执行程序：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
·查看结果：cat wcoutput/part-r-00000
2、完全分布式搭建
·准备三台客户机（关闭防火墙、静态IP、主机名称），hadoop102（前面已经将一些环境配置好了，现在将配置好的环境分发给hadoop103和hadoop104）、hadoop103、hadoop104
·安装JDK
·配置环境变量
·安装hadoop
·配置环境变量
以上环境在前面已经配置，再次就不再总结。
·配置集群
1）、编写集群分发脚本xsync（前提是在hadoop上已经创建好文件保存）：
scp（安全拷贝）和rsync（远程同步工具）
scp基本语法： scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称 | rsync基本语法：rsync -av $pdir/$fname $user@$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称 |
可以实现服务器与服务器之间的数据拷贝 | 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 |
scp 是把所有文件都复制过去。 | 用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新 |
xsync：集群分发脚本（为了解决以上两种方式繁琐的输入数据地址而设计的）
首先在/home/atguigu/bin （主要是该目录是声明了全局环境变量的路径，可以使得脚本在任何路径上都能使用）目录下创建 xsync 文件后，编写脚本代码：
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done修改脚本 xsync 具有执行权限：chmod +x xsync
·单点启动
·配置ssh
ssh无密钥配置：免密登录原理
在hadoop102上生成公钥和私钥：cd /home/atguigu/.ssh ssh-keygen -t rsa
然后将公钥拷贝到要免密登录的目标机器上：ssh-copy-id hadoop102 ssh-copy-id hadoop103 ssh-copy-id hadoop104
·群起并测试集群
1）、集群部署规划
➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器
➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在 同一台机器上。
2）、配置集群（对核心配置文件进行修改）
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上
配置core-site.xml（）：cd $HADOOP_HOME/etc/hadoop vim core-site.xml。文件内容：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>atguigu</value>
</property>
</configuration>配置HDFS配置文件（配置hdfs-site.xml）：vim core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
</configuration>配置YARN配置文件：vim yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
</property>
</configuration>配置MapReduce配置文件：vim mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>最后将配置好的hadoop配置文件分发到hadoop103和hadoop104
常用端口号说明
