Centos7下Hadoop2.7.7单机模式安装配置
原创
©著作权归作者所有:来自51CTO博客作者练习生Tony的原创作品,请联系作者获取转载授权,否则将追究法律责任
环境介绍:Centos7 + jdk1.8.0_211
首先、安装JDK1.8.0,详情请移步
Centos7下安装配置JDK
创建一个用户hadoop,当然也可以使用root用户操作。(我的是使用root操作)
可以创建一个linux用户叫hadoop作为Hadoop的工作者,因为root下是很危险的。
sudo useradd -m hadoop -s /bin/bash #创建hadoop用户
sudo passwd hadoop #设置密码
sudo adduser hadoop sudo #增加管理员权限
关闭防火墙(建议关闭、当然也可以自己开放端口)
Centos7下防火墙的操作
# firewall-cmd --state 查看防火墙状态
# systemctl stop firewalld.service 关闭防火墙
# systemctl disable firewalld.service 禁止开机时防火墙自启
解压配置Hadoop环境变量:
tar -xzvf hadoop-2.7.7.tar.gz
ln -s hadoop-2.7.7 hadoop #创建软连接
vim ~/.bashrc #编辑文件设置环境变量
在环境变量中加入如下:
export HADOOP_HOME=/root/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后重载配置生效:
source ~/.bashrc
验证Hadoop环境变量是否正常:
配置hadoop的配置文件:
cd /hadoop-2.7.7/etc/hadoop
查看jdk位置:echo $JAVA_HOME
修改hadoop-env.sh文件:vim hadoop-env.sh
把 export JAVA_HOME=${JAVA_HOME}
一行中的${JAVA_HOME}
改为jdk地址。
至此、hadoop单机版已经配置完成。
测试MapReduce程序,先创建一个输入目录:
创建文件并、随便写入一些内容:
进入mapreduce程序目录并执行脚本函数:
cd ~/hadoop-2.7.7/share/hadoop/mapreduce #
hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount ~/input/data.txt ~/output
查看结果:
cd ~/output
cat part-r-00000
欢迎加入QQ群一起学习和交流,只为学习和交流:275259334