1、Shell 常用命令介绍
1.1 -ls 使用方法
hadoop fs -ls [-R] <args>
功能:显示文件、目录信息。
示例:hadoop fs -ls /user/hadoop/file1
1.2 -mkdir 使用方法
hadoop fs -mkdir [-p] <paths>
功能:在hdfs上创建目录,-p表示会创建路径中的各级父目录。
示例:hadoop fs -mkdir –p /user/hadoop/dir1
1.3 -put 使用方法
hadoop fs -put [-f] [-p] <localsrc1> [ localsrc2. ] <dst>
功能:将单个src或多个srcs从本地文件系统复制到目标文件系统。
-p:保留访问和修改时间,所有权和权限。
-f:覆盖目的地(如果已经存在)
示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
1.4 -get 使用方法
hadoop fs -get [-p] <src> <localdst>
功能:将文件复制到本地文件系统。
其中hdfs://host:port/可以查看/export/server/hadoop-2.7.4/etc/hadoop/core-site.xml中查看。
示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile
1.5 -appendToFile 使用方法
hadoop fs -appendToFile <localsrc> [localsrc]... <dst>
功能:追加一个文件到已经存在的文件末尾
示例:hadoop fs -appendToFile localfile /hadoop/hadoopfile
1.6 -cat 使用方法
hadoop fs -cat URI [URI ...]
功能:显示文件内容到stdout
示例:hadoop fs -cat /hadoop/hadoopfile
1.7 -tail 使用方法
hadoop fs -tail [-f] URI
功能:将文件的最后一千字节内容显示到stdout。
-f选项将在文件增长时输出附加数据。
示例:hadoop fs -tail -f /hadoop/hadoopfile
1.8 -copyFromLocal 使用方法
hadoop fs -copyFromLocal <localsrc> URI
功能:从本地文件系统中拷贝文件到hdfs路径去
示例:hadoop fs -copyFromLocal /root/1.txt /
1.9 -copyToLocal 使用方法
hadoop fs -copyFromLocal /hadoop/hadoopfile <localsrc>
功能:从hdfs拷贝到本地
示例:hadoop fs -copyToLocal /aaa/jdk.tar.gz
1.10 -cp 使用方法
功能:从hdfs的一个路径拷贝hdfs的另一个路径
示例: hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
1.11 -mv 使用方法
功能:在hdfs目录中移动文件
示例: hadoop fs -mv /aaa/jdk.tar.gz /
1.12 -getmerge 使用方法
功能:合并下载多个文件
示例:比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...
hadoop fs -getmerge /aaa/log.* ./log.sum
1.13 -rm 使用方法
功能:删除指定的文件。只删除非空目录和文件。-r 递归删除。
示例:hadoop fs -rm -r /aaa/bbb/
1.14 -df 使用方法
功能:统计文件系统的可用空间信息
示例:hadoop fs -df -h /
1.15 -du 使用方法
功能:显示目录中所有文件大小,当只指定一个文件时,显示此文件的大小。
示例:hadoop fs -du /user/hadoop/dir1
1.16 -setrep 使用方法
功能:改变一个文件的副本系数。-R标志被接受用于向后兼容性。它没有效果。
示例:hadoop fs -setrep -R -w 3 /user/hadoop/dir1