Hadoop中HDFS常用命令_文件操作
对文件的操作
HDFS命令都在Hadoop的bin目录下，当我们配置好了Hadoop的环境变量后就可以直接输入HDFS的命令了，而不需要转到对应的目录下再执行命令
具体命令 | 命令说明 |
hdfs fsck / -files -blocks | 列出文件系统中各个文件由哪些块组成 |
hadoop fs -ls / | 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls hdfs://hadoop-server-00:9000/ 与前面的命令等同只是对路径进行了简写 |
hadoop fs -ls -R / | 列出hdfs文件系统所有目录和文件 -R表示递归进行展示 |
hadoop fs -cp /dir01/1.txt /dir02 | 将HDFS上 / dir01下的1.txt拷贝一份到 /dir02目录下 目标目录可以有多个，多个目标目录需要使用空格隔开 |
hadoop fs -copyFromLocal ./jdk.tar.gz /dir01/ | 从本地文件系统中拷贝到HDFS路径当中去 -put 命令与它等同 |
hadoop fs -copyToLocal /dir01/jdk.tar.gz | 从HDFS文件系统中拷贝到本地 -get命令与它等同 |
hadoop fs -getmerge /dir01/log.* ./log.sum | 合并下载多个文件 比如：/dir01/下有多个文件 log.1,log.2,log.3…… |
-moveFormLocal | 从本地把文件移动到HDFS文件系统中去 |
-moveToLocal | 从HDFS文件系统中移动到本地 |
hadoop fs -cp /dir01/jdk.tar.gz /dir02/jdk.tar.gz.2 | 从HDFS的一个路拷贝到HDFS的另一个路径中去 |
-mv | 在HDFS目录中移动文件 |
hadoop fs -mkdir -p /dir01/dir02/aaa | 在HDFS上创建目录 -p：表示当存在父目录时一并创建 |
hadoop fs -rm -r /dir01/dir02 | 在|HDFS删除文件或文件夹 -r：表示递归进行删除 |
-rmdir | 删除空目录 |
hadoop fs -cat /1.txt | 显示文件内容 |
hadoop fs -appendToFile ./1.txt /2.txt | 追加一个文件到已存在文件的末尾 |
-chgrp、-chmod、-chown 如：hadoop fs -chmod 666 /1.txt | 这三个命令与linux中的用法是一样的 |
hadoop fs -count /dir01/ | 统计一个指定目录下的文件节点数 |
-createSnapshot、-deleteSnapshot、-renameSnapshot 如：hadoop fs -createSnapshot / | 这三个命令用来操作HDFS文件系统目录信息快照 |
hadoop fs -df -h / | 统计HDFS文件系统的空间信息 |
-help | 输出对应命令的参数手册 |
hadoop fs -setrep 3 /dir01/jdk.tar.gz | 设置HDFS中文件的副本信息 |
-stat | 显示一个文件的或文件夹的元信息 |
-tail | 显示一个文件的末尾 |
-text | 以字符形式打印一个文件的内容 |
从本地copy文件到HDFS根目录，在上传完成后查看文件信息
HDFS创建目录
hadoop fs -mkdir /software
put一个文件到HDFS的指定目录且使用-cat查看文件内容
在web服务端查看文件
删除HDFS中指定的目录及文件
