HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。

Hadoop的常见操作如下:

-mkdir创建目录

可选项:-p,建立多级目录,

Hdfs dfs -mkdir -p /temp/data/

-put将本地文件或目录上传到HDFS中的路径

hdfs dfs -put /root/data/test.txt /temp/data/

-ls查看目录下内容,包括文件名,权限,所有者,大小和修改时间

hdfs dfs -ls /

-get将文件或目录从HDFS中的路径拷贝到本地文件路径

hdfs dfs -get /temp/data/test.txt /root/data/

-du显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个文件。

hdfs dfs -du /temp/data/

hdfs dfs -du -s /temp/data/

hdfs dfs -du -h /temp/data/

-mv在HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。

hdfs dfs -mv /temp/data/test.txt /temp

hdfs dfs -ls /root

-cp在HDFS文件系统中,将文件或目录复制到目标路径下

hdfs dfs -mkdir -p /temp/data1

hdfs dfs -cp /temp/data/test.txt /temp/data1

-rm删除一个文件或目录

hdfs dfs -rm /temp/data/test.txt

-cat显示文件内容到标准输出上。

hdfs dfs -cat /temp/data1/test.txt

-touchz创建一个零长度的文件。

hdfs dfs -touchz /temp/data/test1.txt