1.hadoop fs/dfs hdfs/dfs

hadoop:适用面最广,可以操作任何文件系统。

hdfs:只与HDFS文件系统相关。

fs:涉及到一个通用的文件系统,可以指向任何系统文件,如local,HDFS等。

dfs:仅是针对HDFS的分布式文件系统。

fs>dfs

fs:在本地与hadoop分布式文件系统的交互操作中使用。

分布式文件系统:fs与dfs没有区别。

2常用命令

1,help:显示命令的帮助信息

(1)获得所有命令帮助信息

fs 执行hadoop hadoop fs -ls -h_hdfs

(2)获得某个命令的帮助信息

fs 执行hadoop hadoop fs -ls -h_hdfs_02

 2,ls         格式:hadoop  fs -ls URL

                   作用:类似Linux的ls命令,显示文件列表

fs 执行hadoop hadoop fs -ls -h_fs 执行hadoop_03

也可以通过浏览器图形化查看文件系统:http://192.168.56.2:50070

fs 执行hadoop hadoop fs -ls -h_hadoop_04

 3,ls 格式:hadoop fs -lsr URL(过时)

                     hadoop fs -ls -R URL

fs 执行hadoop hadoop fs -ls -h_文件系统_05

fs 执行hadoop hadoop fs -ls -h_文件系统_06

 

4,mkdir 格式:hadoop fs  [-p]  -mkdir <paths>

                作用:以<paths>中的URL为参数,创建目录

                   -p:参数可以递归创建目录

fs 执行hadoop hadoop fs -ls -h_hdfs_07

递归创建目录

fs 执行hadoop hadoop fs -ls -h_文件系统_08

 

 5,put 格式:hadoop fs -put <localsrc>   <dst>

            作用:将单个的源文件src或者多个文件srcs从本地文件系统拷贝到目标文件系统

fs 执行hadoop hadoop fs -ls -h_hdfs_09

fs 执行hadoop hadoop fs -ls -h_fs 执行hadoop_10

 

6,moveFromLocal 格式:hadoop  fs  - moveFromLocal  <localsrc>  <dst>

                                作用:和put命令类似,从本地将文件移动到hdfs,但是源文件在拷贝之后自身删除

moveToLocal  作用:从hdfs上将文件移动到本地系统中

7,get 格式:hadoop fs  -get[-ignorecrc] [-crc] <src> <localdst>

           作用:把hdfs上的文件拷贝到本地

                     -ignorecrc:忽略crc校检     -crc:使用crc校检

fs 执行hadoop hadoop fs -ls -h_hadoop_11

 8,mv 格式:hadoop fs   -mv  URL  <dest>

            作用:将hadfs上的文件从原路径移动到目标路径,移动后文件删除,改命令不能跨文件系统使用

fs 执行hadoop hadoop fs -ls -h_文件系统_12

9,cp  格式:hadoop   fs   -cp  URL[URL....]   <dest>

            作用:将文件拷贝到目标路径中,如果以dest为目录的话,可以将多个文件系统拷贝到改目录下

              -f:如果它已存在,将覆盖目标文件

              -p:选项将保留文件属性(时间戳,所有权,许可等)(深度拷贝:内容加属性) 

fs 执行hadoop hadoop fs -ls -h_文件系统_13

 10,rm  格式:hadoop  fs   -rm [-r] [-skipTrash]  URL[URL....]

              作用:删除参数指定的文件,参数可以有很多个

               -r:删除目录

                -skipTrash:指定-skipTrash 选项,那么在回收站可用的情况下该选项将会跳过回收站直接删除文件,否则,在回收站可用的情况下,在hdfs sell中执行命令,会将文件暂存在回收站中

     

fs 执行hadoop hadoop fs -ls -h_fs 执行hadoop_14

  

 删除目录

fs 执行hadoop hadoop fs -ls -h_fs 执行hadoop_15

11, cat  格式:hadoop  fs  -cat  URI(URI...)

               作用:将参数所指示的文件内容输出到控制台上

fs 执行hadoop hadoop fs -ls -h_fs 执行hadoop_16

12, chmod  格式:hadoop  fs  -chmod[-R]  URI[URI..]

            作用:改变文件权限

            -R:对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户,或者超级用户

fs 执行hadoop hadoop fs -ls -h_hadoop_17

13,chown  格式:hadoop  fs  -chown[-R]  URI[URI...]

                    作用:改变文件的所属用户和用户组

fs 执行hadoop hadoop fs -ls -h_文件系统_18

 

fs 执行hadoop hadoop fs -ls -h_hdfs_19

 14,appendToFile  将一个文件或多个文件合并追加到另一个文件中

                格式:hadoop  fs  -appendToFile  <localsrc>  <dst>

                作用:追加一个或者多个文件到hdfs指定文件中,也可以从命令行读取输入

fs 执行hadoop hadoop fs -ls -h_hdfs_20

 后期可使用appendToFile  合并小文件,减少NameNode中元数据的压力