1、首先需要一个Linux环境,参见另一篇博文,安装虚拟机,这里安装的是Centos 6.8


2、装好之后,在VmVare虚拟机里面打开一个终端,用ifconfig查看一下本机地址:

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci

如图IP是:192.168.164.129

使用SSH工具远程连接到这个虚拟机里面,之后的操作都在远程工具里面完成了

3、root身份登录进去,准备好目录

mkdir /opt/datas
 mkdir /opt/modules
 mkdir /opt/software
 mkdir /opt/tools

注:

datas 表示所有用到的数据

modules 表示hadoop各模块

software 表示软件安装包

tools 表示工具

4、安装JDK

(1)首先卸载系统自带的JDK

查看有哪些jdk已经安装了:

rpm -qa|grep jdk

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_hadoop_02

卸载已有模块:

rpm -e --nodeps 各个模块名字

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_03

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_hadoop_04

查看是否还有:

rpm -qa|grep jdk

(2)安装jdk,这里安装1.7.0_79

获取jdk安装包:

http://www.java.com

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_hadoop_05

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_06

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_07

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_08

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_09

下载这个到本地

然后把这个文件传到Linux相应的目录里面,传文件的话,推荐一个软件:

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_10

用ip,用户名,密码登录上之后:

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_11

拖到/opt/software目录下即可

然后解压到/opt/modules下:

cd /opt/software

tar -zxvf jdk-7u79-linux-x64.tar.gz  -C /opt/modules/

配置环境变量:

vi /etc/profile

shift+g 跳到最底下 按i进入编辑状态

加入:

export JAVA_HOME=/opt/modules/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

立即生效:

source /etc/profile

验证:

java -version

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_12

如果出现版本信息,则安装成功

5、安装hadoop

(1)下载安装包

http://archive.apache.org/dist/hadoop/common/

这个地址里面有所有版本的hadoop安装包,选择2.5.0下载,比较稳定

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_13

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_14

这个是编译打包好的hadoop,下载到/opt/software下,并传到/opt/software目录下

解压到/opt/modules下

cd /opt/software

tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

这样hadoop就安装好了

6、修改hadoop配置文件,并运行一个本地模式

(1)hadoop中,很多配置信息都在文件中,经常需要手工配置,这样linux的vim工具就不是很方便了,这里推荐一个notepad++的远程插件 NppFTP

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_15

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_16

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_hadoop_17

注意,这里需要选择SFTP,否则连不上

连接到linux中,即可方便修改文本文件啦!

(2)配置hadoop中的JAVA_HOME

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_18

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_19

这个jdk目录,可以cd到jdk下,然后pwd,拷贝一个路径即可:

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_hadoop_20

(3)运行一个WordCount程序:

wordCount程序是统计一个或者多个文本中,单词的词频的。

首先需要准备源文件

cd /opt/datas
mkdir wcinput
cp /opt/modules/hadoop-2.5.0/etc/hadoop/*.xml /opt/datas/wcinput/

直接拷贝所有的hadoop配置文件到wcinput了

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_ci_21

运行:

进入到hadoop安装目录下:

cd /opt/modules/hadoop-2.5.0/
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/datas/wcinput /opt/datas/wcoutput

直接在本地跑一个程序就可以了

跑完看下输出:

cd /opt/datas/output

如何查看虚拟机中安装了hadoop和hbase hadoop查看虚拟机的地址_JAVA_22

_SUCESS文件标志本次运行成功

运行结果在part-t-00000中

cat part-r-00000即可查看结果了