进程启停管理

HDFS的shell操作_HDFS

如果无法进行一键启动,则需要以绝对路径进行执行

HDFS的shell操作_HDFS_02

单独的进程也可以进行启停

HDFS的shell操作_HDFS_03

start 启动进程 status 查看进程状态 stop 停止进程

namenode secondarynamenode datanode 这三个为操作对象

下图为在HDFS中这三者之间的关系

HDFS的shell操作_HDFS_04

上述程序如果发生找不到的情况,也需要使用绝对路径进行执行

/export/sever/hadoop/sbin/hadoop-daemon.sh (start/status/stop) (namenode/secondarynamenode/datanode)

HDFS的shell操作_绝对路径_05

方法2的具体实现和方法一类似,都存在简单方法,但是如果在配置环境处发生了问题,就需要用绝对路径进行执行

/export/sever/hadoop/bin/hdfs --daemon (start/status/stop) (namenode/secondarynamenode/datanode)


文件系统操作命令

HDFS文件系统的基本信息

HDFS的shell操作_绝对路径_06

协议头 file:///或者hdfs://node1:8020/可以省略

需要提供Linux路径的参数,会自动识别为file://

需要提供HDFS路径的参数,会自动识别为hdfs://

除非有明确的需要写,或则不写会有BUG,否则一般不需要写协议头


HDFS的文件系统的操作命令

HDFS的shell操作_HDFS_07

HDFS的shell操作_HDFS_08

和前面情况一样,如果找不到文件,就是环境配置时出了问题,需要使用绝对路径才可以正常执行

/export/sever/hadoop/bin/hdfs dfs

上述两者,在文件操作上,用法完全一致,没有区别,使用哪个都可以

但是,会有一些特殊操作,需要对两者进行一个区分,后面遇到这种情况在进行叙述


创建文件夹

HDFS的shell操作_hadoop_09

下图为Linux本地创建的文件夹

HDFS的shell操作_hadoop_10


查看指定目录下的文件

HDFS的shell操作_hadoop_11

查看HDFS下的文件

HDFS的shell操作_hadoop_12

查看Linux内创建的文件在主界面使用 ls 就可以进行查看

HDFS的shell操作_hadoop_10


上传文件到HDFS的指定目录下

HDFS的shell操作_绝对路径_14

HDFS的shell操作_hadoop_15


查看HDFS文件内容

HDFS的shell操作_hadoop_16

src:文件信息,文件名+文件类型 

例如:test.txt


下载HDFS文件,从HDFS下载文件到Linux

HDFS的shell操作_绝对路径_17


拷贝HDFS文件,从HDFS到HDFS

HDFS的shell操作_hadoop_18


追加数据到HDFS

HDFS的shell操作_hadoop_19


HDFS的数据移动

HDFS的shell操作_绝对路径_20


HDFS数据删除操作

HDFS的shell操作_绝对路径_21

URI:被删除内容的路径


其他操作

官方命令网址:

hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html

整个文件系统,只能进行删除和追加,不支持修改


HDFS的shell操作_hadoop_22