1.完成Hadoop2.2.0单机版环境搭建之后需要利用一个例子程序来检验hadoop2 的mapreduce的功能


//启动hdfs和yarn sbin/start-dfs.sh sbin/start-yarn.sh


2.首先现在一个文件夹里面建立两个文件file01.txt file02.txt里面加入如下内容,具体方法会linux的都会,我就默认你具有了。

file01.txt


kongxianghe kong yctc Hello World


file02.txt


11 2222 kong Hello yctc


3. 将这两个文件放入hadoop的HDFS中,HDFS(Hadoop Distributed File System)就是hadoop的文件系统。


//cd到hadoop/bin目录下 hadoop fs -ls     //查看hdfs目录情况


在HDFS中创建文件夹input


hadoop fs -mkdir -p input     //  -p这个参数是必须加入的hadoop2和之前的版本是不一样的


hadoop fs -put file*.txt input  //  将刚才的两个文件放入到hadoop的文件系统之中


查看这些文件是否已经进入到了hadoop的文件系统之中


hadoop fs -cat input/file01.txt   //查看命令


删除文件命令


hadoop fs -rm -r xxx



4.利用如命令进行计算,注意input文件夹是刚才手动在HDFS中建立的,output文件夹不需要自己建立。


hadoop jar /kong/hadoop/lib/hadoop-mapreduce-examples-2.2.0.jar wordcount input output


需要等待几分钟的时间,在进行map和reduce的情况下会占用大量的内存,可能超过4GB这时候什么都不要动只需要等待

在浏览器中输入:localhost:8088 然后在左边栏中找到Cluster-->Applications-->FINISHED 刚才的任务就在里。


5.查看mapreduce的情况,利用命令找到output文件夹,找到里面的文件


hadoop fs -ls output


Found 2 items -rw-r--r--   1 root supergroup          0 2014-01-17 10:44 output/_SUCCESS -rw-r--r--   1 root supergroup         58 2014-01-17 10:44 output/part-r-00000


打开part-r-00000这个文件就是执行结果


hadoop fs -cat output/part-r-0000


结果为


1111    1 2222    1 Hello   2 World   1 kong    2 kongxianghe 1 yctc    2


数据都被统计出来了,成功!

Good Luck!