cdh下载教程 hadoop cdh安装hadoop教程

转载

huatechinfo 2023-08-18 13:26:47

文章标签 cdh下载教程 hadoop hadoop CDH 环境搭建 h5 文章分类 Hadoop 大数据

CDH版本Hadoop集群搭建

1、CDH版本hadoop重新编译

1.1 为什么要编译？
1.2 编译环境的准备
1.3 进行编译

2、CDH版本的zookeeper环境搭建

2.1 zookeeper下载解压
2.2 修改配置文件
2.3启动zk服务

3、CDH伪分布式环境搭建

3.1 上传压缩包并解压
3.2 查看hadoop支持的压缩方式以及本地库
3.3 修改配置文件
3.4 创建文件存放目录
3.5 安装包的分发
3.6 配置hadoop的环境变量

4集群环境启动

4.1 脚本一键启动
4.2 单个节点逐一启动

5、浏览器查看启动页面

1、CDH版本hadoop重新编译

1.1 为什么要编译？

由于cdh给出的hadoop的安装包并没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题，所以一般需要自己重新编译。

1.2 编译环境的准备

Linux：推荐内存4G或以上，64位操作系统，联网，关闭防火墙。
jdk1.7安装：并在/etc/profile中配置环境变量，编译这里选择jdk1.7。
maven安装：编译需要在maven环境下进行。配置maven环境变量。
maven仓库：为增加编译速度，可以提前下载maven仓库，并在maven配置文件中指定本地仓库路径，同时添加阿里云镜像地址。
findbugs：下载解压并配置环境变量。
依赖包：在线安装一些依赖包。

yum -y install autoconf automake libtool cmake
yum -y install ncurses-devel
yum -y install openssl-devel
yum -y install lzo-devel zlib-devel gcc gcc-c++
yum -y install -y  bzip2-devel

安装protobuf :解压并编译。
安装snappy :下载地址 http://code.google.com/p/snappy/ ，解压并编译。
cdh源码准备：源码下载地址为：

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-src.tar.gz

1.3 进行编译

进入解压的cdh源码目录中，

cd  /export/servers/hadoop-2.6.0-cdh5.14.0

支持snappy压缩方式编译：

mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e –X

编译成功后，进入该目录查看编译之后得到的文件：

cd  /export/servers/hadoop-2.6.0-cdh5.14.0/hadoop-dist/target

注意：所有环境变量配置完成后应执行命令使其立即生效。可通过source命令。

source /etc/profile

2、CDH版本的zookeeper环境搭建

集群环境以三台虚拟机为例，分别命名为node01，node02，node03。
每台应提前安装jdk1.8并配置环境变量。
其他相关虚拟机安装配置可以参考其他文档。

2.1 zookeeper下载解压

下载地址为：

http://archive.cloudera.com/cdh5/cdh/5/

选择和编译的CDH相同的版本，这里为CDH5.14.0

2.2 修改配置文件

创建zk数据存放目录

mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas

修改zk配置文件

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf 
cp zoo_sample.cfg zoo.cfg
vim  zoo.cfg

修改zoo.cfg中的内容：

dataDir=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

在zkdatas中创建myid文件并写入内容：

echo 1 > /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas/myid

将安装包分发到其他机器，并需要修改其他机器的myid.myid是zookeeper选取leader的重要信息。
可修改node02的myid为2,修改node03的myid为3.

2.3启动zk服务

三台机器均执行以下命令：

cd  /export/servers/zookeeper-3.4.5-cdh5.14.0
bin/zkServer.sh start

3、CDH伪分布式环境搭建

安装环境服务部署规划,这里:
192.168.52.100为node01
192.168.52.110为node02
192.168.52.120为node03

服务器IP	192.168.52.100	192.168.52.110	192.168.52.120
HDFS	NameNode	–	–
HDFS	SecondaryNameNode	–	–
HDFS	DataNode	DataNode	DataNode
YARN	ResourceManager	–	–
YARN	NodeManager	NodeManager	NodeManager
MapReduce	JobHistoryServer	–	–

3.1 上传压缩包并解压

将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器（指我的node01服务器，下同）并解压
第一台机器执行以下命令

cd /export/softwares/
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/

3.2 查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative

如果出现openssl为false，那么所有机器在线安装openssl即可

yum -y install openssl-devel

3.3 修改配置文件

建议可以通过nodepad++进行连接服务器，然后进行编写修改配置文件，以避免vim模式下可能出现的拼写错误。

第一台机器执行以下命令
----1 修改core-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

更改文档信息：

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://192.168.52.100:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

----2 修改hdfs-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

更改文档信息：

<configuration>
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

----3 修改 hadoop-env.sh

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh

更改文档信息：

export JAVA_HOME=/export/servers/jdk1.8.0_141

----4 修改 mapred-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

更改文档信息：

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

----5 修改yarn-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

更改文档信息：

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

----6 修改slaves文件

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

更改文档信息：

node01
node02
node03

注意：这里是所有搭建集群所用的服务器主机名。在前期Linux环境安装时，有对主机名起别名为node01、node02、node03

3.4 创建文件存放目录

node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

这些目录用于后期hadoop 的namenode和datanodes等相关数据的生成存放目录。
这些目录在之前配置文件中均有配置。
集群初始化时，以及集群运行过程中的一些文件均会生成在我们配置的该目录中。

3.5 安装包的分发

将第一台安装的hadoop安装包复制到其他机器

cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

3.6 配置hadoop的环境变量

集群所有机器都要配置hadoop环境变量。

vim  /etc/profile

添加以下内容：
可直接在java环境变量后面添加：

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置文件立即生效

source /etc/profile

4集群环境启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

bin/hadoop namenode –format

该指令会使集群在hadoopDatas中生成各种相关信息文件：如NameNode和DataNode中均会有VERSION文件，其中包含clusterId，namespaceID，
例如node01中：/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/current
中namenode的VERSION文件内容如下：

namespaceID=715801864
clusterID=CID-8bdf2026-329e-4439-8016-55226cabfe84
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1994706638-192.168.52.100-1535458650778
layoutVersion=-60

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current 文件夹中datanode的VERSION文件格式如下：

storageID=DS-4a271b03-a87d-4069-a9a6-9782bac356c8
clusterID=CID-8bdf2026-329e-4439-8016-55226cabfe84
cTime=0
datanodeUuid=4d86a001-71e7-4d13-8fbd-898619fea804
storageType=DATA_NODE
layoutVersion=-56

注意： 格式化操作应只在集群环境刚配置完第一次启动前进行。后续集群启动均不用再进行格式化。
如果在第二次及以后启动集群前进行格式化，会导致namenode中的clusterID发生改变，此时与DataNode中VERSION文件的clusterID不一致，会导致DataNode无法正常启动。

4.1 脚本一键启动

如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行即可。

node01节点上执行以下命令启动集群：

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

一键停止集群（友情提醒：生产环境下停止集群要慎重）：

sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

4.2 单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode：

hadoop-daemon.sh start namenode

在每个从节点上使用以下命令启动 HDFS DataNode：

hadoop-daemon.sh start datanode

在主节点上使用以下命令启动 YARN ResourceManager：

yarn-daemon.sh  start resourcemanager

在每个从节点上使用以下命令启动 YARN nodemanager：

yarn-daemon.sh start nodemanager

以上脚本位于$HADOOP_PREFIX/sbin/目录中。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

5、浏览器查看启动页面

hdfs集群访问地址（或者直接输入node01:50070）

http://192.168.52.100:50070/dfshealth.html#tab-overview

yarn集群访问地址

http://192.168.52.100:8088/cluster

jobhistory访问地址：

http://192.168.52.100:19888/jobhistory

如对文中有任何疑问，欢迎及时交流。
共同学习，共同进步。

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：MySQL执行顺序从左到右数据库mysql的执行顺序

下一篇：csv输出不带引号 python python 输出csv文件

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯