HDFS有很多shell命令,其中,fs命令可以说是HDFS最常用的命令,利用该命令可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。
查看hdfs dfs帮助如下:
$ hdfs dfs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] <path> ...]
[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]
Generic options supported are
-conf <configuration file> specify an application configuration file
-D <property=value> use value for given property
-fs <local|namenode:port> specify a namenode
-jt <local|resourcemanager:port> specify a ResourceManager
-files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars> specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines.
The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]
1.熟悉一下命令,执行并查看结果。
(1) 创建HDFS家目录:/user/<用户名>,例如用户名为hadoop,命令如下:
hdfs dfs -mkdir -p /user/hadoop
查看目录是否已创建ok
hdfs dfs -ls -R /
参数:-R 表示递归查询
结果如下:
(2)上传Linux本地文件到HDFS家目录中
在~目录下,新建Linux本地文件,例如:1.txt
nano 1.txt
1.txt的内容如下:
Hello HDFS!
保存。
上传1.txt到HDFS家目录
hdfs dfs -put 1.txt /user/hadoop
或者 用"."代替HDFS家目录,如下:
hdfs dfs -put 1.txt .
(3)查看HDFS家目录下包含的文件和目录
hdfs dfs -ls .
(4)查看HDFS文件内容
hdfs dfs -cat 1.txt
或者
hdfs dfs -text 1.txt
注意:1.txt为HDFS下的文件,是相对路径,相对于HDFS的家目录,HDFS的家目录为/user/<用户名>
如果写成绝对路径应该为:/user/<用户名>/1.txt
(5) 下载HDFS文件1.txt到Linux本地,并重命名为h1.txt
hdfs dfs -get 1.txt h1.txt
查看本地h1.txt文件
cat h1.txt
(6)删除HDFS文件
hdfs dfs -rm 1.txt
再次查看HDFS家目录,发现1.txt文件已经被删除
如果是递归删除HDFS目录,需要加上 -r参数
hdfs dfs -rm -r <要删除的目录>
(7) 复制本地文件到HDFS(注意与put的区别)
语法:
hdfs dfs -copyFromLocal src dst
src为复制的源头,即从哪里复制;dst为复制的目的地,即复制到哪里去。
例如本地存在a.txt文件, 复制a.txt到HDFS家目录
hdfs dfs -copyFromLocal a.txt .
查看是否复制成功
hdfs dfs -ls .
(8) 移动本地文件到HDFS
hdfs dfs -moveFromLocal src dst
(9) 文件或文件夹复制
hdfs dfs -cp src dst
(10) 文件或文件夹的移动
hdfs dfs -mv src dst
(11) copyToLocal 复制文件到本地
hdfs dfs -copyToLocal src dst
(12) touchz 创建一个空文件file.txt
hdfs dfs -touchz file.txt
查看是否创建成功
hdfs dfs -ls .
看到HDFS file.txt的大小为0,说明file.txt确实为空文件。
(13) 追加内容到文件末尾的指令
本地文件1.txt内容为:
Hello HDFS!
追加1.txt内容到HDFS的file.txt中
hdfs dfs -appendToFile 1.txt file.txt
查看HDFS file.txt文件大小由0变为了12
hdfs dfs -ls .
查看HDFS file.txt的内容:
hdfs dfs -cat file.txt
2.HDFS命令的综合运用
通过第1部分的学习,独立思考完成如下任务:
在本地创建一个文件file1,并往file1内写一些内容;在HDFS家目录(例如:/user/ua01,ua01为用户名)创建一个文件夹folder1,把file1上传到folder1中;查看是否上传成功,成功后查看HDFS的file1的内容;把file1下载到本地并命名为myfile,查看myfile的内容;把folder1删除,并查看是否删除成功;最后把本地的myfile删除。