HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。
Hadoop的常见操作如下:
-mkdir创建目录
可选项:-p,建立多级目录,
Hdfs dfs -mkdir -p /temp/data/
-put将本地文件或目录上传到HDFS中的路径
hdfs dfs -put /root/data/test.txt /temp/data/
-ls查看目录下内容,包括文件名,权限,所有者,大小和修改时间
hdfs dfs -ls /
-get将文件或目录从HDFS中的路径拷贝到本地文件路径
hdfs dfs -get /temp/data/test.txt /root/data/
-du显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个文件。
hdfs dfs -du /temp/data/
hdfs dfs -du -s /temp/data/
hdfs dfs -du -h /temp/data/
-mv在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
hdfs dfs -mv /temp/data/test.txt /temp
hdfs dfs -ls /root
-cp在HDFS文件系统中,将文件或目录复制到目标路径下
hdfs dfs -mkdir -p /temp/data1
hdfs dfs -cp /temp/data/test.txt /temp/data1
-rm删除一个文件或目录
hdfs dfs -rm /temp/data/test.txt
-cat显示文件内容到标准输出上。
hdfs dfs -cat /temp/data1/test.txt
-touchz创建一个零长度的文件。
hdfs dfs -touchz /temp/data/test1.txt