Hadoop常用命令以及相关知识

  • 前言
  • 命令格式
  • hdfs常用指令
  • 相关知识




前言

今天我们就来分享学习一下hadoop的常用命令都有哪些以及它们的用法是怎样的！

命令格式

  • HDFS提供了Shell的操作接口
  • 文件操作命令与Linux相似
  • 格式为：hadoop fs -<命令> <目标> 如：hadoop fs -ls /user

hdfs常用指令

  1. 查看hdfs系统版本
hdfs version
  1. 查看hdfs系统状态
hdfs dfsadmin -report
  1. 查看目录及文件
hadoop fs -ls /
  1. 创建及删除目录
hadoop fs -mkdir /input
hadoop fs -rm -r /input
  1. 创建文件(注意是touchz)
hadoop fs -touchz test.txt
  1. 上传及下载文件
hadoop fs -put test.txt /input
hadoop fs -get /input/test.txt /data
  1. 查看文件内容
hadoop fs -cat /input/test.txt
  1. 当在Hadoop中设置了回收站功能时，删除的文件会保留在回收站中，可以使用expunge方法清空回收站
hadoop fs -expunge
  1. 进入/退出hadoop安全模式
hdfs dfsadmin -safemode enter
hdfs dfsadmin -safemode leave
  1. 启动/关闭hadoop
hadoop安装目录/sbin/start-all.sh
hadoop安装目录/sbin/stop-all.sh

相关知识

  • 调用文件系统(FS)Shell命令应使用hadoop fs <args>的形式。
  • 所有的的FS shell命令使用URI路径作为参数。
  • URI格式是scheme://authority/path。
  • 对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
  • 一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。
  • 大多数FS Shell命令的行为和对应的Unix Shell命令类似，出错信息会输出到stderr，其他信息输出到stdout。

注意：

  • 在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。
  • 安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。
  • 运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。


-------------- end ----------------