hadoop - hadoop2.6 伪分布式 示例 wordcount 分词 和 hdfs常用操作命令

1.背景

   上篇已经学习了hadoop伪分布式安装，这篇演示一个例子；更好的理解hdfs 文件系统！

2.hdfs 命令操作

      说明：我这里hadoop进行了path 变量配置，所以可以使用 hadoop命令，如果你没有配置的话，看下篇文章进行配置或者 进入 hadoop 根目录 ，使用 bin目录下的hadoop 执行 hdfs 操作； 

  2.1  fs -ls / 查看目录下的内容

yuan@LABELNET:~$ hadoop fs -ls /user/yuan/inpu

  2.2  fs -lsr / 查看目录下的所有内容，递归遍历

  

yuan@LABELNET:~$ hadoop fs -lsr /user/yuan/

或

yuan@LABELNET:~$ hadoop fs -ls -R /ming/

  2.3 结果分析

  代表是文件的是 [  -  ] 开头

-rw-r--r--   1 yuan supergroup        258 2016-01-21 16:24 /ming/yuan.txt

  代表是文件夹开头的是 [  d  ]开头

 

drwxr-xr-x   - yuan supergroup          0 2016-01-19 00:16 /user/yuan/input

  具体含义 自己看下面翻译吧！

  其实 ，如果你伪分布式配置好的话，可以在 浏览器中看见 hdfs的文件 ：

  （1） 查看hdfs文件系统 

  （2）文件夹 （d 开头的）

 

        

  （3）文件 （- 开头的）

   （4）含义

drwxr-xr-x - yuan     supergroup          0  2016-01-19 00:16   input
 权限        目录所有者  所属组群         文件大小      时间           目录位置

   

    

-rw-r--r--   1     yuan   supergroup     82  2016-01-19 00:16 output/part-r-00000
权限         备份数 所有者   所属组群        大小      时间              文件目录地址

 2.4 fs -mkdir /d1 在hdfs上创建d1文件夹

 

yuan@LABELNET:~$ hadoop fs -mkdir /ming

  2.5 fs -put [linux 上传文件] [hdfs 目的文件夹]

yuan@LABELNET:~$ hadoop fs -put /home/yuan/桌面/yuan.txt /ming

  

  2.6 fs -get [hdfs 下载文件地址] [linux 目的文件夹]

yuan@LABELNET:~$ hadoop fs -get /ming/yuan.txt ~/Java/

  2.7  fs -text hdfs [hdfs 文件地址] 查看hdfs文件

yuan@LABELNET:~$ hadoop fs -text /ming/yuan.txt

  2.8 fs -rm [hdfs 文件地址] 删除文件

yuan@LABELNET:~$ hadoop fs -rm /ming/yuan.txt

  2.9  fs -rmr [目录地址] 删除文件

yuan@LABELNET:~$ hadoop fs -rmr /ming

或 

yuan@LABELNET:~$ hadoop fs -rm -R  /ming

 剩下的命令自己学习吧，常用的就这些吧！

3.wordcount 分词 示例

  3.1 创建文件夹

  

yuan@LABELNET:/usr/local/hadoop$ bin/hdfs dfs -mkdir /user/hadoop/input

  3.2 上传文件

yuan@LABELNET:/usr/local/hadoop$ bin/hdfs dfs -put yuan.txt <span style="font-family: Arial, Helvetica, sans-serif;"> /user/hadoop/input</span>

 3.3 查看文件

    （1） 可以使用命令 

yuan@LABELNET:/usr/local/hadoop$ bin/hdfs fs -ls /user/hadoop/input

    （2）也可以在浏览器中查看

  3.4 操作执行

yuan@LABELNET:/usr/local/hadoop$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /user/hadoop/input output 'dfs[a-z.]+'

 

  执行完毕 ：

  

  注意执行前，将Output文件夹 移除：

$ rm -R ./output 或 

$ bin/hdfs dfs -rm -r /user/hadoop/output

  

  3.5 查看输出

yuan@LABELNET:usr/local/hadoop$ bin/hadoop fs -cat output/*

 

  

 3.6 将输出的下载到本地

yuan@LABELNET:usr/local/hadoop$ bin/hadoop fs -get output/* ~/Java

  3.7 关闭 hadoop

   

yuan@LABELNET:usr/local/hadoop$ sbin/stop-dfs.sh

4.总结

  下面配置 hadoop 的全局使用和yarn 配置！