首先,尼玛哥是一名研究生,可以说很多学习的知识都是来源于同门师兄弟,本着将自己学习到的东西以博客的形式分享到网络上,不仅仅可以让自己回顾,也可以帮助需要学习的小伙伴们,供大家一同学习。
首先,hadoop 环境的搭建需要在linux的环境下,那么,现在,咱们需要将linux的基本网络设置已经配置完毕,注意,每一次配置完成,建议要给系统做一个快照,以免不必要的情况发生后,整个系统都崩盘,这时候就后悔莫及了~
废话不多说,开始讲解如何搭建单节点的hadoop 伪分布集群
开始前请大家注意了:linux 的操作系统,默认主机名为localhost,此处尼玛哥一直是以localhost 进行讲解,但是大家在学习安装伪分布单节点的hadoop过程当中,注意修改localhost的名字,不然在最后的集群运行当中会出错,和系统本身的 127.0.0.1 对应的localhost 的IP 产生冲突,导致最后无法实现集群搭建!
首先:hadoop 伪分布环境搭建分为三大步
一 .JDK 安装
二.SSH 配置
三.hadoop 环境配置
以centos 6.5为例来安装,咱们现在安装一个nimi 桌面版本~
咱们先将linux的网络配置设置好,(linux的安装在我的博客当中可以找到),设置为静态IP ,便于以后添加多个节点使用~
刚刚安装好的linux他的系统IP 并没有配置好,那么,咱们先配置静态IP
利用 命令#vi /etc/sysconfig/network-scripts/ifcfg-eth0
进入了vi 编辑界面,咱们需要再根据VMware Workstation中的设置进行配置静态IP
根据,上图,咱们知道了,IP 是在192.168.159.2这个网关当中的,那么,接下来,咱们开始配置静态IP ,
输入:x保存并退出。
OK ,静态IP 配置完成了,
接下来,咱们利用命令:# service network restart 使网路服务重新启动
# ifconfig
# ping www.baidu.com
接下来,基本的网络配置已经完成了,咱们给linux系统来个快照,以便进行接下来的步骤时出现什么错误,哈哈哈,保险要紧~
ok !,咱们最基本的linux设置已经完成了哟~接下来,就是开始环境搭建3大步骤了
第一:JDK安装和环境变量配置
1.检查linux 系统当种的JDK 是否已经安装了
利用命令:# java -version
上图显示得是,jdk 已经成功安装了。
2.接下来,咱们看看 centos 的位数
利用命令# file /bin/ls
3.切换至 usr/文件夹当中,创建一个Java/ 目录
利用命令:# cd /
# ls
# cd usr/
#mkdir java
#cd java/
#ls
4.上传已经下载到本地的文件 jdk-7u79-linux-x64.tar.gz (我会上传到我的文件当中,供大家下载)
当然,有时候 rz命令并未安装,这时候,咱们就可以选用yum 命令来安装,介绍下,yum 命令是在连接了网络的情况下使用的。所以之前,咱们配置好了网络设置,现在就起作用了!
利用命令:#yum -y install lrzsz
好了,rz 安装好了,接下来就是从本地添加文件了
利用命令:#rz
咱们选中了文件后,就会自动上传到centos 系统当中
检查一下,文件是否已经上传到java目录当中
命令:# ls
可以确认,java 当中,已经存在了我们需要的tar.gz文件
5.解压已经上传的压缩文件。
利用命令: # tar -zxvf jdk-7u79-linux-x64.tar.gz
检查文件是否已经压缩成功;# ls
6.接下来,咱们开始配置JDK 的环境变量
利用命令:
#cd /etc/profile.d
#ls
在profile.d文件夹通过Vi命令生成一个java.sh 文件
#vi java.sh
在 Java.sh 文件中,咱们需要设置的是这些
JAVA_HOME=/usr/java/jdk1.7.0_79
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export JAVA_HOME PATH CLASSPATH
wq保存退出
7. 利用命令 #source /etc/profile.d/java.sh 使刚才的配置文件生效
8.利用命令#vi /etc/hosts ,来修改hosts文件,但是需要知道虚拟机配置的静态IP ,前边我们已经配置过,
是 192.168.159.22 locahost (你的主机的名字,在安装linux的时候,已经自己起名过,博主起的名字是kkc,而在此处是localhost,大家需要注意,不能和 127.0.0.1 localhost 重名,这样最后会导致出错)
9.接下来,咱们创建一个专门的hadoop的用户组,利用一下命令
#groupadd hadoop 创建hadoop用户组
#useradd -g hadoop hadoop 新建hadoop用户并增加到hadoop用户组中
#passwd hadoop hadoop用户密码,为hadoop
10、Hadoop使用端口比较多,建议关闭防火墙避免出现不必要的问题,生产环境中可以对相应端口做安全控制。先需要关闭防火墙
Centos6.5自带防火墙是iptables防火墙,没有firewall防火墙。
通过命令:#service iptables status 查看防火墙状态
通过命令关闭防火墙:
(1)#chkconfig iptables off 这种方式是永久性关闭,系统重启后不会复原。
(2)#service iptables stop这种方式是即时生效,系统重启后会复原。
咱们使用命令1 ,但是,需要重新启动, 为了方便,不用关机,咱们1,2命令同时,可以再虚拟机运行过程中关闭防火墙。
使用完命令后,咱们检查一下,防火墙是否关闭
第二 、SSH 配置!
1 配置SSH实现无密码验证配置,首先切换到刚创建的hadoop用户下。
由于hadoop需要无密码登录作为datanode的节点。
部署单节点的时候,当前节点既是namenode又是datanode,所以此时需要生成无密码登录的ssh。方法如下:
#su hadoop
#cd
2 、创建.ssh目录,生成密钥
#mkdir .ssh
#ssh-keygen -t rsa 注意,ssh与keygen之间是没有空格的,中间的询问部分,咱们用回车跳过,相当于设置免密码登录
3 、切换到.ssh目录下,进行查看公钥和私钥
#cd .ssh
#ls
4、将公钥复制到日志文件里。查看是否复制成功
#cp id_rsa.pub authorized_keys
#ls
5、查看日记文件具体内容
#vi authorized_keys
6、退回到/home/hadoop/,来赋予权限
#cd ..
#chmod 700 .ssh 将.ssh文件夹的权限赋予700
#chmod 600 .ssh/* 将.ssh文件夹里面的文件(id_rsa、id_rsa.pub、authorized_keys)的权限
赋予600
7、切换到root用户下,安装ssh插件(openssh)
#su root
#yum -y install openssh-clients
8、切换到/home/hadoop/,测试ssh无密码访问
#su hadoop
#ssh localhost
#yes
三.hadoop 环境配置
接下来,到了关键的步骤了,搭建hadoop伪分布式环境
下载并解压Hadoop2.2.0,把文件放到/usr/java/目录下,注意:下载前确认一下你的Linux系统是64位系统还是32位系统,分别下载对应的版本,如果下载错了,后面会有很多问题
当然,这个文件,已经下载到了本地,接下来,我们将利用rz命令将文件上传到虚拟机当中
1 .
首先,切换到/usr/java/ ,再切换到root用户下,再 /root/java
#cd /usr/java
#su root
2、用rz命令从Windows来上传hadoop-2.2.0-x64.tar.gz到/usr/java/下。
#rz
3、查看上传好的hadoop-2.2.0-x64.tar.gz,并解压
#ls
#tar axvf hadoop-2.2.0-x64.tar.gz
4、将文件名hadoop-2.2.0修改为hadoop,并查看
#mv hadoop-2.2.0 hadoop
#ls
将刚改名的hadoop文件,权限赋给hadoop用户,并查看权限
#chown -R hadoop:hadoop hadoop
#ls -l
5、创建一个hadoop数据目录 ,将整个data目录权限赋予给hadoop用户
#mkdir -p /data/dfs/name
#mkdir -p /data/dfs/data
#mkdir -p /data/tmp
#chown -R hadoop:hadoop hadoop /data
#ls -l /data
6、修改hadoop对应的配置文件
切换到hadoop用户,切换到hadoop目录
#su hadoop
#cd hadoop
查看下etc/hadoop的配置文件
#cd etc/
#ls
#cd hadoop/
#ls
7.接下来的步骤,需要十分仔细,是修改hadoop的配置文件了!会尽量详细的解释下这些文件的用处以及如何配置
首先,修改etc/hadoop/core-site.xml配置文件,添加如下信息
#vi core-site.xml
(1)配置HDFS(hadoop)的分布式文件系统的地址及端口号
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value> <!-- 注意,本机的名称localhost需要大家更改-->
</property>
(2)配置HDFS路径的存放数据的公共目录
<property>
<name>hadoop.tmp.dir</name>
<value>file:/data/tmp</value>
</property>
(3)注意:由于在hadoop1.0中引入了安全机制,所以从客户端发出的作业提交者全变成了hadoop,不管原始提交者是哪个用户,为了解决该问题,引入了安全违章功能,允许一个超级用户来代替其他用户来提交作业或者执行命令,而对外来看,执行者仍然是普通用户。
配置设置为任意客户端
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
配置设为任意用户组
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
#wq 保存退出!
8.修改etc/hadoop/hdfs-site.xml配置文件,添加信息。
通过命令 #vi hdfs-site.xml
(1)配置namenode文件目录
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/dfs/name</value>
<final>true</final>
</property>
(2)配置datanode文件目录
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dfs/data</value>
<final>true</final>
</property>
(3)配置数据块副本和HDFS权限
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
#wq保存并退出
9、修改etc/hadoop/mapred-site.xml配置文件,添加如下信息。
#cp mapred-site.xml.template mapred-site.xml
#vi mapred-site.xml
配置mapreduce环境为yarn
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
#wq保存退出
10 、修改etc/hadoop/yarn-site.xml配置文件。
#vi yarn-site.xml
为了能够运行mapreduce程序,我们需要让.nodemanger在启动时加载shuffle。
所以需要下面设置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
#wq 保存退出
11、修改etc/hadoop/slaves,添加如下信息。即slaves文件
#vi slaves
现在是伪分布式单节点集群,所以datanode和namedata在一个节点上。
12、设置总结 : jdk环境变量配置是放在/etc/profile.d hadoop环境变量配置是放在/etc/profileHadoop环境变量
切换到root用户下,修改/etc/profile文件
#su root
不是HADOOP_HOME=/usr/java/hadoop-2.2.0 ,因为前面更改名字了
#wq 保存并退出
注意 : jdk环境变量配置是放在/etc/profile.d hadoop环境变量配置是放在/etc/profile
13、使配置文件生效
#source /etc/profile
第四、测试hadoop运行
1、切换到hadoop用户,退回到hadoop目录下。
#su hadoop
#cd ..
#cd ..
#ls
2、格式化namenode
#bin/hadoop namenode -format
3 启动集群(每次开机时候,都要启动)
#sbin/start-all.sh
4、查看集群进程
#jps
5.打开本地的hosts文件,修改设置,然后,保存,退出。
添加 192.168.159.22 localhost(注意,你们的电脑的用户名称是什么,就相应的写什么,比如,博主的是 kkc ) 到其中
7、 最后,现在是来验证hadoop是否安装成功
在Windows上可以通过 http://localhost:50070 访问WebUI来查看NameNode,集群、文件系统的状态。这里是HDFS的Web页面
由于,博主的电脑设置的http//kkc:50070
OK ,单节点的环境搭建成功!