1、首先需要一个Linux环境,参见另一篇博文,安装虚拟机,这里安装的是Centos 6.8
2、装好之后,在VmVare虚拟机里面打开一个终端,用ifconfig查看一下本机地址:
如图IP是:192.168.164.129
使用SSH工具远程连接到这个虚拟机里面,之后的操作都在远程工具里面完成了
3、root身份登录进去,准备好目录
mkdir /opt/datas
mkdir /opt/modules
mkdir /opt/software
mkdir /opt/tools
注:
datas 表示所有用到的数据
modules 表示hadoop各模块
software 表示软件安装包
tools 表示工具
4、安装JDK
(1)首先卸载系统自带的JDK
查看有哪些jdk已经安装了:
rpm -qa|grep jdk
卸载已有模块:
rpm -e --nodeps 各个模块名字
查看是否还有:
rpm -qa|grep jdk
(2)安装jdk,这里安装1.7.0_79
获取jdk安装包:
下载这个到本地
然后把这个文件传到Linux相应的目录里面,传文件的话,推荐一个软件:
用ip,用户名,密码登录上之后:
拖到/opt/software目录下即可
然后解压到/opt/modules下:
cd /opt/software
tar -zxvf jdk-7u79-linux-x64.tar.gz -C /opt/modules/
配置环境变量:
vi /etc/profile
shift+g 跳到最底下 按i进入编辑状态
加入:
export JAVA_HOME=/opt/modules/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
立即生效:
source /etc/profile
验证:
java -version
如果出现版本信息,则安装成功
5、安装hadoop
(1)下载安装包
http://archive.apache.org/dist/hadoop/common/
这个地址里面有所有版本的hadoop安装包,选择2.5.0下载,比较稳定
这个是编译打包好的hadoop,下载到/opt/software下,并传到/opt/software目录下
解压到/opt/modules下
cd /opt/software
tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/
这样hadoop就安装好了
6、修改hadoop配置文件,并运行一个本地模式
(1)hadoop中,很多配置信息都在文件中,经常需要手工配置,这样linux的vim工具就不是很方便了,这里推荐一个notepad++的远程插件 NppFTP
注意,这里需要选择SFTP,否则连不上
连接到linux中,即可方便修改文本文件啦!
(2)配置hadoop中的JAVA_HOME
这个jdk目录,可以cd到jdk下,然后pwd,拷贝一个路径即可:
(3)运行一个WordCount程序:
wordCount程序是统计一个或者多个文本中,单词的词频的。
首先需要准备源文件
cd /opt/datas
mkdir wcinput
cp /opt/modules/hadoop-2.5.0/etc/hadoop/*.xml /opt/datas/wcinput/
直接拷贝所有的hadoop配置文件到wcinput了
运行:
进入到hadoop安装目录下:
cd /opt/modules/hadoop-2.5.0/
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/datas/wcinput /opt/datas/wcoutput
直接在本地跑一个程序就可以了
跑完看下输出:
cd /opt/datas/output
_SUCESS文件标志本次运行成功
运行结果在part-t-00000中
cat part-r-00000即可查看结果了