HDFS命令用法
- 基本格式:
hadoop fs 命令 参数1 参数2
或者
hdfs dfs 命令 参数1 参数2
dfs是fs的实现类。
- HDFS路径参数,与Linux路径类似:
根目录为 / - 常用命令(注意命令前有个横线)
注: 参数<hdfs-dir-path>
为HDFS目录路径
参数<hdfs-file-path>
为HDFS文件路径
参数<hdfs-path>
为HDFS路径
参数<sys-dir-path>
为系统文件路径
参数<sys-file-path>
为系统文件路径
参数<sys-path>
为系统路径
(1) -ls ,查看HDFS目录结构
例:
hadoop fs -ls / 查看根目录
hadoop fs -ls /tmp 查看/tmp目录
(2) -lsr <hdfs-dir-path>
,递归查看HDFS目录结构,当前目录和后代目录都要查看.
(3)-mv <hdfs-path> <hdfs-path>
移动
例:
hadoop fs -mv /text.txt /tmp
如果/tmp是一个目录路径,即将/text.txt文件移动至/tmp目录,并保持文件名不变。
hadoop fs -mv /text.txt /tmp/t.txt
将/text.txt文件移动至/tmp目录中,并重命名为t.txt。
hadoop fs -mv /tmp/* /text
将/tmp目录中所有的文件移动至/text目录
(4)-cp [<hdfs-path> <hdfs-path>]
复制
例:
hadoop fs -cp /text.txt /tmp
如果/tmp是一个目录路径,即将/text.txt文件复制至/tmp目录,并保持文件名不变
hadoop fs -cp /text.txt /tmp/t.txt
将/text.txt文件复制至/tmp目录中,并重命名为t.txt
hadoop fs -cp /tmp/* /text
将/tmp目录中所有的文件复制至/text目录
(5)-rm <hdfs-path>
删除文件/空白文件夹
例:
hadoop fs -rm /text.txt
删除文件/text.txt
hadoop fs -rm /tmp
删除目录/tmp
(6)-mkdir <hdfs-path>
创建空白文件夹
例:
hadoop fs -mkdir /tmp
在HDFS根目录上创建一个tmp文件夹
hadoop fs -mkdir /tmp/local
在HDFS的/tmp目录中创建一个local文件夹
(7) -put <sys-path> <hdfs-path>
上传文件
例:
hadoop fs -put ~/text.txt /
将Linux系统中~/text.txt文件上传至HDSF的根目录中
hadoop fs -put ~/text.txt /tmp/text1.txt
将Linux系统中~/text.txt文件上传至HDSF的/tmp目录,并重命名为text1.txt
hadoop fs -put -r ~/tmp /
将~/tmp目录递归拷贝到HDFS中的根目录中
hadoop fs -put ~/tmp/* /dst
将~/tmp目录中的所有文件拷贝到HDFS中的/dst目录中
(8)-copyFromLocal <sys-path> <hdfs-path>
从本地复制(类似put)
(9)-moveFromLocal <hdfs-path> <sys-path>
从本地移动(用法类似put,只是不是拷贝是移动)
(10) -get <hdfs-path> <sys-path>
下载文件
例:
hadoop fs -get /text.txt ~/tmp
将HDFS中/text.txt文件下载至Linux的~/tmp目录中,文件名保持不变
hadoop fs -get /text.txt ~/tmp/text2.txt
将HDFS中/text.txt文件下载至Linux的~/tmp目录中,文件名改为text2.txt
hadoop fs -get /tmp/* ~/test
将HDFS中/tmp目录中的所有文件下载至Linux的~/test目录中
(11) -copyToLocal <hdfs-path> <sys-path>
从HDFS复制到本地(类似get)
(12) -moveToLocal <hdfs-path> <sys-path>
从HDFS移动到本地(用法类似get,只是不是拷贝是移动)
(13)-cat
:显示文件内容
例:
hadoop fs -cat /tmp/test.txt
(14)-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限。
例:
hadoop fs -chmod 666 /tmp/test.txt