Hadoop的运行模式包括：本地模式、伪分布式模式和完全分布式模式。
具体可参考官方网站：http://hadoop.apache.org/
1.本地运行模式
1.1 官方Grep案例
（1）在hadoop-3.1.3目录下面创建一个input文件夹
cd /opt/module/hadoop-3.1.3
mkdir input（2）将Hadoop的xml配置文件复制到input
cp etc/hadoop/*.xml input（3）执行share目录下的MapReduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'（4）查看输出结果
cat output/*1.2 官方WordCount案例
（1）在hadoop-3.1.3目录下面创建一个wcinput文件夹
mkdir wcinput（2）在wcinput文件下创建一个wc.input文件
cd wcinput（3）编辑wc.input文件
vi wc.input输入如下内容：
hadoop yarn
hadoop mapreduce
scala
java保存退出。
（4）回到Hadoop目录/opt/module/hadoop-3.1.3
（5）执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput（6）查看结果
[JL@hadoop101 hadoop-3.1.3]$ cat wcoutput/part-r-00000看到如下结果：
scala 1
java 1
hadoop 2
mapreduce 1
yarn 12.伪分布式运行模式
2.1 启动HDFS并运行MapReduce程序
2.1.1 分析
（1）配置集群
（2）启动、测试集群增、删、查
（3）执行WordCount案例
2.1.2 执行步骤
（1）配置集群
a. 配置：hadoop-env.sh
Linux系统中获取JDK的安装路径：
[JL@ hadoop101 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_212修改JAVA_HOME路径：
export JAVA_HOME=/opt/module/jdk1.8.0_212b. 配置：core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>c. 配置hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>（2）启动集群
a. 格式化NameNode（只在第一次启动时格式化）
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs namenode -formatb. 启动NameNode
[JL@hadoop101 hadoop-3.1.3]$ sbin/hadoop-daemon.sh start namenode (已过时)
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs –daemon start namenodec. 启动DataNode
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs –daemon start datanode（3）查看集群
a. 查看是否启动成功
[JL@hadoop101 hadoop-3.1.3]$ jps
13586 NameNode
13668 DataNode
13786 Jps注意：jps是JDK中的命令，不是Linux命令。
b. web端查看HDFS文件系统
http://hadoop101:9870 c. 常用端口号说明
Daemon | App | Hadoop2 | Hadoop3 |
NameNode | NameNode RPC | 8020/9000 | 9820 |
NameNode | NameNode HTTP UI | 50070 | 9870 |
Secondary NameNode | Secondary NameNode HTTP UI | 50090 | 9868 |
DataNode | DataNode IPC | 50020 | 9867 |
DataNode | DataNode HTTP UI | 50075 | 9864 |
（4）出现问题查看日志
当前目录：/opt/module/hadoop-3.1.3/logs
[JL@hadoop101 logs]$ ls
-rw-rw-r--. 1 JL JL 31356 3月 27 14:13 hadoop-JL-datanode-hadoop202.log //datanode的日志
-rw-rw-r--. 1 JL JL 690 3月 27 14:13 hadoop-JL-datanode-hadoop202.out
-rw-rw-r--. 1 JL JL 110234 3月 27 14:13 hadoop-JL-namenode-hadoop202.log //namenode的日志
-rw-rw-r--. 1 JL JL 690 3月 27 14:12 hadoop-JL-namenode-hadoop202.out
-rw-rw-r--. 1 JL JL 690 3月 27 14:11 hadoop-JL-namenode-hadoop202.out.1
-rw-rw-r--. 1 JL JL 690 3月 27 14:10 hadoop-JL-namenode-hadoop202.out.2
-rw-rw-r--. 1 JL JL 0 3月 27 14:09 SecurityAuth-JL.audit（5）操作集群
a. 在HDFS文件系统上创建一个input文件夹
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs dfs -mkdir -p /user/JL/inputb. 将测试文件内容上传到文件系统上
[JL@hadoop101 hadoop-3.1.3]$bin/hdfs dfs -put wcinput/wc.input
/user/JL/input/c. 查看上传的文件是否正确
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs dfs -ls /user/JL/input/
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs dfs -cat /user/JL/ input/wc.input
d. 运行MapReduce程序
[JL@hadoop101 hadoop-3.1.3]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/JL/input/ /user/JL/outpute. 查看输出结果
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs dfs -cat /user/JL/output/*f.将测试文件内容下载到本地
[JL@hadoop101 hadoop-3.1.3]$ hdfs dfs -get /user/JL/output/part-r-00000 ./wcoutput/g. 删除输出结果
[JL@hadoop101 hadoop-3.1.3]$ hdfs dfs -rm -r /user/JL/output2.2 格式化需要注意的问题
重新格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往的数据。所以，格式化NameNode的时候，一定要伤处data数据和logs日志，然后再格式化NameNode
2.3 启动Yarn并运行MapReduce程序
2.3.1 分析
（1）配置集群在yarn上运行MR
（2）启动、测试集群增删查功能
（3）在yarn上执行WordCount案例
2.3.2 执行步骤
（1）配置集群
a. 配置yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>b. 配置mapred-site.xml
[JL@hadoop101 hadoop]$ vi mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>（2）启动集群
a. 启动前必须保证NameNode和DataNode已经启动
b. 启动ResourceManager
[JL@hadoop101 hadoop-3.1.3]$ sbin/yarn-daemon.sh start resourcemanager (已过时)
[JL@hadoop101 hadoop-3.1.3]$ bin/yarn --daemon start resourcemanagerc. 启动NodeManager
[JL@hadoop101 hadoop-3.1.3]$ bin/yarn --daemon start nodemanager（3）集群操作
a. yarn的浏览器页面查看
http://hadoop101:8088 b. 执行MapReduce程序
[JL@hadoop101 hadoop-3.1.3]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/JL/input /user/JL/outputc. 查看运行结果
[JL@hadoop101 hadoop-3.1.3]$ bin/hdfs dfs -cat /user/JL/output/*http://hadoop101:8088 2.4 配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件
默认文件名 | 文件存放在Hadoop的jar包中的位置 |
core-default.xml | hadoop-common-3.1.3.jar/ core-default.xml |
hdfs-default.xml | hadoop-hdfs-3.1.3.jar/ hdfs-default.xml |
yarn-default.xml | hadoop-yarn-common-3.1.3.jar/ yarn-default.xml |
mapred-default.xml | hadoop-mapreduce-client-core-3.1.3.jar/ mapred-default.xml |
（2）自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。
3.完全分布式运行模式
3.1 虚拟机准备
参考hadoop之运行环境搭建一文。
3.2 编写集群分发脚本xsync
3.2.1 scp（secure copy）安全拷贝
（1）scp定义
scp可以实现服务器与服务器之间的数据拷贝
（2）基本语法
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称3.2.2 rsync远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
（1）基本语法
rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称参数说明：
-a：归档拷贝
-v：显示复制过程
3.2.3 xsync集群分发脚本
（1）需求：循环复制文件到所有节点的相同目录下
（2）脚本实现
在/home/JL目录下创建bin目录，并且在bin目录下创建xsync文件
[JL@hadoop101 hadoop] cd /home/JL
[JL@hadoop101 ~] mkdir bin
[JL@hadoop101 bin] touch xsync
[JL@hadoop101 bin] vim xsync在该文件中编写如下代码：
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop101 hadoop102 hadoop103
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done修改脚本xsync具有执行权限：
chmod +x xsync测试脚本：
sudo xsync xsync3.3 集群配置
3.3.1集权部署规划
组件 | hadoop101 | hadoop102 | hadoop103 |
HDFS | NN/DN | DN | 2NN/DN |
YARN | NM | RM/NM | NM |
说明：
NN：NameNode
DN：DataNode
RM：ResourceManager
NM：NodeManager
3.3.2 配置
（1）核心配置文件
配置core-site.xml
cd $HADOOP_HOME/etc/hadoop
vim core-site.xml文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<property>
<name>hadoop.data.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<property>
<name>hadoop.proxyuser.JL.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.JL.groups</name>
<value>*</value>
</property>
</configuration>（2）HDFS配置文件
配置hdfs-site.xml
cd $HADOOP_HOME/etc/hadoop
vim hdfs-site.xml文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.data.dir}/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.data.dir}/data</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file://${hadoop.data.dir}/namesecondary</value>
</property>
<property>
<name>dfs.client.datanode-restart.timeout</name>
<value>30</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>
</configuration>（3）Yarn配置文件
配置yarn-site.xml
cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>（4）MapReduce配置文件
配置mapred-site.xml
cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>3.3.3 分发文件
xsync /opt/module/hadoop-3.1.33.4 集群单点启动
（1）如果集群是第一次启动，需要格式化NameNode
hdfs namenode -format（2）在hadoop102上启动NameNode
hdfs --daemon start namenode完成后执行jps命令，看到如下结果（进程号可能不同）：
3461 NameNode（3）在hadoop102、hadoop103以及hadoop104上执行如下命令（三台都要执行）
hdfs --daemon start datanode3.5 SSH免密登录配置（为群起/群停做准备）
3.5.1 配置ssh
（1）生成公钥和私钥：
ssh-keygen -t rsa连续敲三个回车，就会生成两个文件：id_rsa（私钥）、id_rsa.pub（公钥）
（2）将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103注意：
还需要在hadoop101上采用root账号，配置一下无密登录到hadoop101、hadoop102、hadoop103；
还需要在hadoop102上采用JL账号配置一下无密登录到hadoop101、hadoop102、hadoop103服务器上。
3.6 群起集群
3.6.1 配置workers
在2.x版本为slaves文件
vim /opt/module/hadoop-3.1.3/etc/hadoop/workers在该文件中增加如下内容：
hadoop101
hadoop102
hadoop103注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件
xsync workers3.6.2 启动集群
（1）如果集群是第一次启动，需要在hadoop101节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
hdfs namenode -format（2）启动HDFS
sbin/start-dfs.sh（3）在配置了ResourceManager的节点（hadoop102）启动YARN
sbin/start-yarn.sh3.6.3 集群基本测试
（1）上传文件到集群
上传小文件
hadoop fs -mkdir -p /user/JL/input
hadoop fs -put $HADOOP_HOME/wcinput/wc.input /user/JL/input上传大文件
hadoop fs -put /opt/software/hadoop-3.1.3.tar.gz /（2）上传文件后查看文件存放在什么位置
a. 查看HDFS文件存储路径
[JL@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0b. 查看HDFS在磁盘存储文件内容
[JL@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
JL
JL（3）拼接
-rw-rw-r--. 1 JL JL 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r--. 1 JL JL 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 JL JL 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r--. 1 JL JL 495635 5月 23 16:01 blk_1073741837_1013.meta
[JL@hadoop102 subdir0]$ cat blk_1073741836>>tmp.jar
[JL@hadoop102 subdir0]$ cat blk_1073741837>>tmp.jar
[JL@hadoop102 subdir0]$ tar -zxvf tmp.jar（4）下载
[JL@hadoop102 hadoop-3.1.3]$ bin/hadoop fs -get
/hadoop-3.1.3.tar.gz ./（5）执行wordcount程序
[JL@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/JL/input /user/JL/output3.7 集群启动/停止方式总结
3.7.1 各个服务组件逐一启动/停止
（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode（2）启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager3.7.2 各个模块分开启动/停止（配置ssh是前提）——常用
（1）整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh（2）整体启动/停止YARN
start-yarn.sh/stop-yarn.sh3.8 配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
（1）配置mapred-site.xml
cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml在改文件中添加如下配置：
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>（2）分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml（3）在hadoop101启动历史服务器
mapred --daemon start historyserver（4）使用jps查看历史服务器是否启动
（5）web端查看JobHistory
http://hadoop101:19888/jobhistory 3.9 配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情（历史服务器的logs），方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
（1）配置yarn-site.xml
cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml在该文件里面增加如下配置：
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop101:19888/jobhistory/logs</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property>（2）分发配置
xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml（3）关闭NodeManager 、ResourceManager和HistoryServer
在102上执行： stop-yarn.sh
在101上执行： mapred --daemon stop historyserver（4）启动NodeManager 、ResourceManager和HistoryServer
在102上执行：start-yarn.sh
在101上执行：mapred --daemon start historyserver（5）删除HDFS上已经存在的输出文件
hdfs dfs -rm -R /user/JL/output（6）执行WordCount程序
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /user/JL/input /user/JL/output（7）查看日志，如图所示
http://hadoop101:19888/jobhistory
4.集群时间同步配置
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
4.1 时间服务器配置（必须使用root用户）
（1）所有节点关闭ntp服务何自启动
sudo systemctl stop ntpd
sudo systemctl disable ntpd（2）修改ntp配置文件
vim /etc/ntp.conf修改内容如下：
a. 修改1（授权192.168.1.0-192.168.1.255网段上的所有机器可以从这台机器上查询和同步时间）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
改为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrapb. 修改2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
改为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburstc.添加3（当该节点丢失网络连接时，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10（3）修改/etc/sysconfig/ntpd文件
vim /etc/sysconfig/ntpd增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes说明：
系统时间：一般指执行date命令看到的时间，linux系统下的所有时间调用（撤了直接访问硬件时间的命令）都是使用该时间；
硬件时间：主板上BIOS中的时间，由主板电池供电来维持运行，系统开机时要读取这个时间，并根据它来设定系统时间（注意：系统启动时根据硬件时间设定系统时间的过程可能存在时区换算，这要视具体的系统及相关设置而定）。
（4）重新启动ntpd服务
systemctl start ntpd（5）设置ntpd服务开机启动
systemctl enable ntpd4.2 其他机器配置（必须使用root用户）
（1）在其他机器配置10分钟与时间服务器同步一次
crontab -e编写定时任务如下：
*/10 * * * * /usr/sbin/ntpdate hadoop102（2）修改任意机器时间
date -s "2017-9-11 11:11:11"（3）十分钟后查看机器是否与时间服务器同步
date说明：测试的时候可以将10分钟调整为1分钟，节省时间。
