1.Hadoop操作:



1)查看Hadoop版本:


查看hadoop状态 查看hadoop文件_hadoop



2)自动开启Hadoop:

hm@hm-ubuntu:~$ start-all.sh



3)手动开启Hadoop:


查看hadoop状态 查看hadoop文件_HDFS_02



2.HDFS操作:



1)查看HDFS上的文件:

hadoop dfs -ls / 等同于 hadoop fs -ls /


查看hadoop状态 查看hadoop文件_HDFS_03



2)向HDFS上传文件:

(1)使用put命令:

hadoop fs -put test.txt /home/fs-test.txt


查看hadoop状态 查看hadoop文件_python_04

(2)使用copyFromLocal命令:

hadoop fs -copyFromLocal 本地目录/本地文件 /HDFS目录/文件


查看hadoop状态 查看hadoop文件_HDFS_05



3)从HDFS下载文件:

hadoop fs -get /HDFS目录/文件 本地目录/文件

(1)拷贝单个文件:


查看hadoop状态 查看hadoop文件_hadoop_06

(2)拷贝整个目录:


查看hadoop状态 查看hadoop文件_hadoop_07


查看hadoop状态 查看hadoop文件_大数据_08

红色方框选中的hadoop-hm目录是之前我们在core-site.xml文件中配置的临时目录。红色椭圆选中的home是刚刚我们congHDFS下载的文件夹。


查看hadoop状态 查看hadoop文件_Hadoop_09



4)删除HDFS上的文件:

hadoop fs -rmr /home/*.txt


查看hadoop状态 查看hadoop文件_HDFS_10



5)HDFS的更多命令:


查看hadoop状态 查看hadoop文件_Hadoop_11


查看hadoop状态 查看hadoop文件_Hadoop_12


查看hadoop状态 查看hadoop文件_大数据_13


3.MapReduce示例操作-统计字符


1)在HDFS上执行jar程序:

hadoop jar hadoop-examples-1.1.2.jar wordcount /test.txt /result


查看hadoop状态 查看hadoop文件_Hadoop_14


查看hadoop状态 查看hadoop文件_大数据_15


查看hadoop状态 查看hadoop文件_HDFS_16

警告:     
        13/05/11 16:43:29 INFO input.FileInputFormat: Total input paths to process : 1 
        13/05/11 16:43:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
        13/05/11 16:43:29 WARN snappy.LoadSnappy: Snappy native library not loaded  

速度挺快的,页面上只看到完成的任务:


查看hadoop状态 查看hadoop文件_python_17


2)查看统计结果: 


查看hadoop状态 查看hadoop文件_大数据_18



- end