Hadoop 安装部署详细说明
Hadoop是什么?
(1)Hadoop 是一个有 Apache 基金会开发的分布式系统基础架构
(2)主要解决海量数据存储和海量数据分析计算问题
(3)Hadoop 通常指 Hadoop 生态圈。
Hadoop 的优势(四高)
- 高可靠性:Hadoop 底层维护多个数据副本,即使 Hadoop 某个计算程序或存储出现故障,也不会导致数据的丢失。
- 高扩展性:在集群之间分配任务数据,可方便的扩展数以千计的节点。
- 高效性:在 MapReduce 的思想下,Hadoop 是并行工作的,加快任务的处理速度。
- 高容错性:能够自动将失败的任务重新分配。
Hadoop 的组成
YARN 架构概述
MapReduce 的架构概述
MapReduce将计算过程分为两个阶段:Map和Reduce,如图
(1)Map阶段并行处理输入数据
(2)Reduce阶段对Map结果进行汇总
大数据技术生态体系
图中涉及的技术名词解释如下:
1)Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
2)Flume:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
3)Kafka:Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
(3)支持通过Kafka服务器和消费机集群来分区消息。
(4)支持Hadoop并行数据加载。
4)Storm:Storm用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。
5)Spark:Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
6)Oozie:Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统。
7)Hbase:HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
8)Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
10)R语言:R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
11)Mahout:Apache Mahout是个可扩展的机器学习和数据挖掘库。
12)ZooKeeper:Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
推荐系统框架图
Hadoop运行环境搭建
虚拟机环境准备
- 安装或克隆已有虚拟机
- 修改克隆虚拟机的 IP 地址
- 修改主机名(/etc/hosts、/etc/hostname)
- 关闭防火墙
- 创建 Linux 用户 (尽量使用 root 用户,不然后期容易报错)
- 配置创建的 Linux 用户具备 root 用户权限
- 在/opt目录下创建如下文件夹
mkdir modul
mkdir sort
修改modul、sort 文件夹的所有者(root 用户下可忽略)
chown root:root modul/ sort/
安装JDK
1、卸载现有JDK
(1)查询是否安装Java软件:
rpm -qa | grep java
(2)如果安装的版本低于1.7,卸载该JDK:
sudo rpm -e 软件包
(3)查看JDK安装路径:
which java
2、在Linux系统下的opt目录中导入软件包
3、解压JDK到/opt/module目录下
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
4、配置JDK环境变量
(1)先获取JDK路径
(2)打开/etc/profile文件
sudo vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
(3)保存后退出
:wq
(4)让修改后的文件生效
source /etc/profile
测试JDK是否安装成功
java -version
安装Hadoop
Hadoop官方网站:http://hadoop.apache.org/
1、上传hadoop软件包到 /opt/software/
2、解压安装文件到/opt/module下面
tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/
3、将Hadoop添加到环境变量
(1)获取Hadoop安装路径
(2)打开/etc/profile文件
sudo vi /etc/profile
在profile文件末尾添加Hadoop路径
export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
(3)保存后退出
:wq
(4)让修改后的文件生效
source /etc/profile
4、测试是否安装成功
hadoop version
Hadoop目录结构
重要目录解释
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
Hadoop运行模式
Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。
本地运行模式
eg1.Grep
(1)创建在hadoop-2.7.7文件下面创建一个input文件夹
mkdir input
(2)将Hadoop的xml配置文件复制到input
cp etc/hadoop/*.xml input
(3)执行share目录下的MapReduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'
(4)查看输出结果
cat output/*
eg2.WordCount
(1)创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
mkdir wcinput
(2)在wcinput文件下创建一个wc.input文件
cd wcinput
touch wc.input
(3)编辑wc.input文件
vim wc.input
在文件中输入如下内容
hadoop yarn
hadoop mapreduce
root
root
hbase hbase
Flume Flume
kafka
(4)回到Hadoop目录/opt/module/hadoop-2.7.7
(5)执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount wcinput wcoutput
(6)查看结果
cat wcoutput/part-r-00000
伪分布式运行模式
1、分析
(1)配置集群
(2)启动、测试集群增、删、查
(3)执行WordCount案例
2、执行步骤
(1)集群配置
(a)、配置:hadoop-env.sh
获取JDK的安装路径:
echo $JAVA_HOME
修改JAVA_HOME 路径:
export JAVA_HOME=/opt/module/jdk1.8.0_144
(b)、配置:core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property><!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>
(c)配置:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(2)集群启动
(a)、格式化NameNode(第一次启动时格式化,以后就不要总格式化)
bin/hdfs namenode -format
(b)、启动NameNode
sbin/hadoop-daemon.sh start namenode
(c)、启动DataNode
sbin/hadoop-daemon.sh start datanode
(3)、查看集群
(a)查看是否启动成功
[root@hadoop101 hadoop-2.7.7]$ jps
13586 NameNode
13668 DataNode
13786 Jps
注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps
(b)web端查看HDFS文件系统
注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。
(4)操作集群
(a)在HDFS文件系统上创建一个input文件夹
bin/hdfs dfs -mkdir -p /user/root/input
(b)将测试文件内容上传到文件系统上
bin/hdfs dfs -put wcinput/wc.input /user/root/input/
(c)查看上传的文件是否正确
bin/hdfs dfs -ls /user/root/input/
bin/hdfs dfs -cat /user/root/ input/wc.input
(d)运行MapReduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/root/input/ /user/root/output
(e)查看输出结果
bin/hdfs dfs -cat /user/root/output/*
(f)将测试文件内容下载到本地
hdfs dfs -get /user/r/output/part-r-00000 ./wcoutput/
(g)删除输出结果
hdfs dfs -rm -r /user/root/output
YARN上运行MapReduce 程序
1. 分析
(1)配置集群YARN上运行
(2)启动、测试集群增、删、查
(3)在YARN上执行WordCount案例
2. 执行步骤
(1)配置集群
(a)配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
(b)配置yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property><!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
(c)配置:mapred-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
[root@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[root@hadoop101 hadoop]$ vi mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(2)启动集群
(a)启动前必须保证NameNode和DataNode已经启动
(b)启动ResourceManager
sbin/yarn-daemon.sh start resourcemanager
(c)启动NodeManager
sbin/yarn-daemon.sh start nodemanager
(3)集群操作
(a)YARN的浏览器页面查看
(b)删除文件系统上的output文件
bin/hdfs dfs -rm -R /user/root/output
(c)执行MapReduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/root/input /user/root/output
(d)查看运行结果
bin/hdfs dfs -cat /user/root/output/*
配置历史服务器
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下
1. 配置mapred-site.xml
vi mapred-site.xml
在该文件里面增加如下配置
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
<!--第三方框架使用yarn计算的日志聚集功能 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop101:19888/jobhistory/logs</value>
</property>
2. 启动历史服务器
sbin/mr-jobhistory-daemon.sh start historyserver
3. 查看历史服务器是否启动
jps
4. 查看JobHistory
http://hadoop101:19888/jobhistory
配置日志的聚集
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下
1、配置yarn-site.xml
vi yarn-site.xml
在该文件里面增加如下配置
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2、关闭NodeManager 、ResourceManager和HistoryManager
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
3、启动NodeManager 、ResourceManager和HistoryManager
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
4、删除HDFS上已经存在的输出文件
bin/hdfs dfs -rm -R /user/root/output
5、执行WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/root/input /user/root/output
6、查看日志
http://hadoop101:19888/jobhistory
配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值
1、默认配置文件
要获取的默认文件 | 文件存放在Hadoop的jar包中的位置 |
[core-default.xml] | hadoop-common-2.7.7.jar/ core-default.xml |
[hdfs-default.xml] | hadoop-hdfs-2.7.7.jar/ hdfs-default.xml |
[yarn-default.xml] | hadoop-yarn-common-2.7.7.jar/ yarn-default.xml |
[mapred-default.xml] | hadoop-mapreduce-client-core-2.7.7.jar/ mapred-default.xml |
2、自定义配置文件
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上,可以根据项目需求重新进行修改配置
完全分布式运行模式
1)准备3台客户机(关闭防火墙、静态ip、主机名称)
2)安装JDK
3)配置环境变量
4)安装Hadoop
5)配置环境变量
6)配置集群
7)单点启动
8)配置ssh
9)群起并测试集群
编写集群分发脚本xsync
1、scp(secure copy)安全拷贝
(1)scp定义:
scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
(2)基本语法
scp -r $pdir/$fname $user@hadoop$host:$pdir
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径
(3)案例实操
(a)在hadoop101上,将hadoop101中/opt/modul目录下的软件拷贝到hadoop102上。
scp -r /opt/modul root@hadoop102:/opt/modul
(b)在hadoop102上,将hadoop101服务器上的/opt/modul目录下的软件拷贝到hadoop102上
sudo scp -r root@hadoop101:/opt/modul root@hadoop102:/opt/modul
(c)在hadoop103上,将hadoop101中/opt/modul目录下的软件拷贝到hadoop103上
scp -r root@hadoop103:/opt/modul root@hadoop101:/opt/modul
注意:拷贝过来的/opt/modul目录,别忘了在hadoop101、hadoop102、hadoop103上修改所有文件的,所有者和所有者组。sudo chown 所属者:所有者组 -R /opt/modul
(d)将hadoop101中/etc/profile文件拷贝到hadoop102的/etc/profile上。
sudo scp /etc/profile root@hadoop102:/etc/profile
(e)将hadoop101中/etc/profile文件拷贝到hadoop103的/etc/profile上。
sudo scp /etc/profile root@hadoop103:/etc/profile
注意:拷贝过来的配置文件别忘了source一下/etc/profile
2. rsync 远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点
rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。
(1)基本语法
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径
选项参数说明
选项 | 功能 |
-r | 递归 |
-v | 显示复制过程 |
-l | 拷贝符号连接 |
(2)案例实操
(a)把hadoop101机器上的/opt/soft目录同步到hadoop102服务器的root用户下的/opt/目录
rsync -rvl /opt/soft/ root@hadoop102:/opt/soft
3. xsync集群分发脚本
循环复制文件到所有节点的相同目录下
脚本实现
(a)在/home/root目录下创建bin目录,并在bin目录下xsync创建文件,文件内容如下:
mkdir bin
cd bin/
touch xsync
vim xsync
在该文件中编写如下代码
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for((host=101; host<104; host++)); do
echo ------------------- hadoop$host --------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
(b)修改脚本 xsync 具有执行权限
chmod 777 xsync
(c)调用脚本形式:xsync 文件名称
xsync /home/root/bin
注意:如果将xsync放到/home/root/bin目录下仍然不能实现全局使用,可以将xsync移动到/usr/local/bin目录下。
集群配置
1、集群部署规划
| hadoop101 | hadoop102 | hadoop103 |
HDFS
| NameNode DataNode |
DataNode | SecondaryNameNode DataNode |
YARN |
NodeManager | ResourceManager NodeManager |
NodeManager |
2、配置集群
(1)核心配置文件
配置core-site.xml
vi core-site.xml
在该文件中编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property><!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.7/data/tmp</value>
</property>
(2)HDFS配置文件
配置hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置hdfs-site.xml
vim hdfs-site.xml
在该文件中编写如下配置
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop103:50090</value>
</property>
(3)YARN配置文件
配置yarn-env.sh
vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
vim yarn-site.xml
在该文件中增加如下配置
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property><!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>
(4)MapReduce配置文件
配置mapred-env.sh
vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在该文件中增加如下配置
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3、在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-2.7.7/
4、查看文件分发情况
cat /opt/module/hadoop-2.7.7/etc/hadoop/core-site.xml
集群单点启动
(1)如果集群是第一次启动,需要格式化NameNode
hadoop namenode -format
(2)在hadoop102上启动NameNode
hadoop-daemon.sh start namenode
(3)在hadoop101、hadoop102以及hadoop103上分别启动DataNode
[root@hadoop101 hadoop-2.7.7]$ hadoop-daemon.sh start datanode
[root@hadoop102 hadoop-2.7.7]$ hadoop-daemon.sh start datanode
[root@hadoop103 hadoop-2.7.7]$ hadoop-daemon.sh start datanode
SSH无密登录配置
1、配置ssh
(1)基本语法
ssh 另一台电脑的ip地址(ssh 192.168.1.103)
(2)ssh连接时出现Host key verification failed的解决方法
(3)解决方案如下:直接输入yes
2、无密钥配置
(1)免密登录原理,如图
(2)生成公钥和私钥:
ssh-keygen -t rsa
会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
(3)将公钥拷贝到要免密登录的目标机器上
[root@hadoop101 .ssh]$ ssh-copy-id hadoop101
[root@hadoop101 .ssh]$ ssh-copy-id hadoop102
[root@hadoop101 .ssh]$ ssh-copy-id hadoop103
注意:还需要在hadoop102上采用root账号配置一下无密登录到hadoop101、hadoop102、hadoop103服务器上。
3、.ssh文件夹下(~/.ssh)的文件功能解释
known_hosts | 记录ssh访问过计算机的公钥(public key) |
id_rsa | 生成的私钥 |
id_rsa.pub | 生成的公钥 |
authorized_keys | 存放授权过得无密登录服务器公钥 |
群起集群
1、配置slaves
/opt/modul/hadoop-2.7.7/etc/hadoop/slaves
在该文件中增加如下内容
hadoop101
hadoop102
hadoop103
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
2、启动集群
(1)如果集群是第一次启动,需要格式化NameNode
bin/hdfs namenode -format
(2)启动HDFS
sbin/start-dfs.sh
(3)启动YARN
sbin/start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
(4)web端查看SecondaryNameNode
(a)浏览器中输入:http://hadoop104:50090/status.html
3、集群基本测试
(1)上传文件到集群
上传小文件
hadoop fs -mkdir -p /user/root/input
hadoop fs -put wcinput/wc.input /user/root/input
上传大文件
bin/hadoop fs -put /opt/software/hadoop-2.7.7.tar.gz /user/root/input
(2)上传文件后查看文件存放在什么位置
(a)HDFS文件存储路径
/opt/module/hadoop-2.7.7/data/tmp/dfs/data/current/BP-938951106-192.168.147.1-1495462844069/current/finalized/subdir0/subdir0
(b)查看HDFS在磁盘存储文件内容
cat blk_1073741825
(3)拼接
cat blk_1073741836>>tmp.file
cat blk_1073741837>>tmp.file
tar -zxvf tmp.file
(4)下载
bin/hadoop fs -get /user/root/input/hadoop-2.7.7.tar.gz ./
集群启动/停止方式总结
1、各个服务组件逐一启动/停止
(1)分别启动/停止HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
(2)启动/停止YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
2、各个模块分开启动/停止(配置ssh是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh / stop-dfs.sh
(2)整体启动/停止YARN
start-yarn.sh / stop-yarn.sh