目录

1:创建目录

2、查看文件,ls 没有cd命令, 需要指定绝对路径

3:上传文件 put(要先把数据上传到linux本地然后再上传)

4:下载文件 get

5:复制 cp

6:查看文件内容 cat , 如果数据量比较大,不能使用

7:移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)

8:删除文件或者目录 rmr

9:查看文件末尾 tail -f ; 一直等待查看

10、查看文件的大小

11:查看日志

12:安全模式


1:创建目录

hadoop -dfs -mkdir  目录(需要从根目录开始)

例如:在根目录创建一个data目录 

hadoop -dfs -mkdir  /data

hadoop -dfs -mkdir  -p 目录递归创建目录

例如:在根目录下创建一个/a/b/c

hadoop -dfs -mkdir  -p /a/b/c

注意:如果配置ip地址映射的话可以用主机名:50070到浏览器查看hdfs的详情

例如我的是master就是master:50070(前提是开启的hadoop集群命令是start-all.sh)

在Browse the file system中查看

hadoop hdfs 详解 hadoop hdfs命令_后端

hadoop hdfs 详解 hadoop hdfs命令_hadoop hdfs 详解_02

 

 

2、查看文件,ls 没有cd命令, 需要指定绝对路径

例如:查看根目录

hadoop dfs -ls /

hadoop hdfs 详解 hadoop hdfs命令_hadoop hdfs 详解_03

 

3:上传文件 put(要先把数据上传到linux本地然后再上传)

在上传过程中可以改名字

例如:将本地一个学生表上传到hdfs中

1:创建目录(/data目录已经存在)

hadoop dfs -mkdir /data/student

2:将 students.txt: linux上传到本地并且切换到文件所在目录(利用xftp传输文件,从widows中传到linux)

3:上传文件到hdfs

hadoop dfs -put students.txt /data/student 

hadoop dfs -put students.txt /data/student /student.txt  改名字为student.txt

注意:传到本地是传到linux系统里,然后再从linux上传到hdfs中

4:下载文件 get

将hdfs文件下载到linux本地 可以指定目录 不指定默认是当前目录

例如:将/data/student/students.txt 下载到本地

hadoop dfs -get  /data/student/students.txt  下载到当前目录

hadoop dfs -get  /data/student/students.txt  /usr/local/data   下载到 /usr/local/data 

5:复制 cp

可以将指定文件复制到指定目录 可以在复制时更改名字

例如:将/data/a.txt 移动到 / 

hadoop dfs -cp /data/a.txt   /

hadoop dfs -cp /data/a.txt   /c.txt 将文件复制到根目录并改名字

6:查看文件内容 cat , 如果数据量比较大,不能使用

例如:查看stdents .txt文件

hadoop dfs -cat /data/student/students.txt

7:移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)

例如 将根目录下文件a.txt移动到a目录下

hadoop dfs -mv /a.txt /a

hadoop dfs -mv /a.txt /a/b.txt 移动目录并更改名字

8:删除文件或者目录 rmr

hadoop dfs -rm /a/a.txt删除文件

hadoop dfs -rmr /a 删除目录

并没有真正删除文件,只是将文件放到了回收站中,

/user/root/.Trash/Current ; 每一个用户都有一个回收站

文件永久删除:

1、回收站自动清理

fs.trash.interval

1440

2、手动删除回收站

Hadoop dfs -rmr /user/root/.Trash/Current

3、强制删除,-skipTrash 当需要删除的文件比较大的时候

hadoop dfs -rmr -skipTrash /a

注意:最好不要永久删除或者强制删除以免数据丢失

9:查看文件末尾 tail -f ; 一直等待查看(可以用来查看日志)

例如:查看 /data/student/students.txt

hadoop dfs -tail /data/student/students.txt

10、查看文件的大小

例如:查看 /data 大小

hadoop dfs -du -h /data

11:查看日志

切换到/usr/local/soft/hadoop-2.7.6/logs

使用命令cat hadoop-root-namenode-master.log

12:安全模式

hadoop dfsadmin -safemode get 命令是用来查看当前hadoop安全模式的开关状态

hadoop dfsadmin -safemode enter 命令是打开安全模式

hadoop dfsadmin -safemode leave 命令是离开安全模式