(1)分布式文件系统

随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。

而它最主要的特性就是通透性。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失

分布式文件管理系统很多,hdfs只是其中一种。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。

(2)HDFS的常用SHELL操作。

HDFS也是一种操作系统。它的SHELL操作类似于​​Linux​​。

①查看目录

命令:hadoop fs -ls PATH

例如:hadoop fs -ls hdfs://myhadoop:9000/

HDFS的基本shell操作_hdfs

这里有一个问题,为什么最后要加上hdfs://myhadoop:9000/,这里表示HDFS的根目录,我们可以查看一下/usr/local/hadoop/conf中的core-site.xml文件,在这个配置文件中配置了HDFS的根目录:

HDFS的基本shell操作_hdfs的shell操作_02

当然使用hadoop fs -ls /也可以查看,它会默认加上配置文件中的内容。

②递归查看根目录下所有文件:

命令:hadoop fs -lsr hdfs://myhadoop:9000/


HDFS的基本shell操作_hdfs_03

如图所示,根据空格区分,第二个显示参数表示该文件的副本数,这意味着一个文件可能在HDFS中存在多个,这样就实现了文件的备份,其中为"-"的表示是目录,所有不存在副本,默认副本数是3。这里由于是伪分布系统,所以设置为了1。在/usr/local/hadoop/conf中的hdfs-site.xml文件可以进行相应的配置:

HDFS的基本shell操作_hdfs_04

③创建目录

命令:hadoop fs -mkdir PATH

例如:hadoop fs -mkdir /d1


HDFS的基本shell操作_hdfs_05

④上传文件

命令:hadoop fs -put 源文件(​​Linux​​系统) 目标路径(HDFS)

例如:上传当前目录下的core-site.xml文件到刚刚创建的/d1目录中。

命令为:hadoop fs -put ./core-site.xml /d1


HDFS的基本shell操作_hadoop_06

⑤下载文件

命令:hadoop fs -get 源文件(HDFS) 目标路径(Linux系统)

例如:下载刚刚HDFS中/d1目录下的core-site.xml文件到Linux系统桌面。

命令为:hadoop fs -get /d1/core-site.xml /root/Desktop/


HDFS的基本shell操作_hadoop_07

⑥查看文件

命令:hadoop fs -text FILE

例如:查看d1下的core-site.xml文件。

命令为:hadoop fs -text /d1/core-site.xml


HDFS的基本shell操作_hdfs_08

⑦删除文件

命令:hadoop fs -rm FILE

例如:删除/d1下的core-site.xml文件


HDFS的基本shell操作_hdfs的shell操作_09

⑧递归删除

命令:hadoop fs -rmr PATH

例如:递归删除/d1下的所有内容


HDFS的基本shell操作_hadoop_10

⑨查看命令的帮助手册

命令:hadoop fs -help COMMAND

例如:查看ls的帮助手册


HDFS的基本shell操作_hdfs的shell操作_11

(3)HDFS中所有shell操作的总结:

HDFS的基本shell操作_hdfs_12

HDFS的基本shell操作_hdfs的shell操作_13