目录

  • 第一步先开集群!!!
  • -help命令
  • 上传
  • 下载
  • Hadoop其他shell



第一步先开集群!!!

这个myhadoop.sh是我自己写的脚本,正常start-dfs/yarn启动就行

shell 获取 hadoop 最新路径 hadoop常用shell命令_linux


前缀hadoop fs -xxx xxxhdfs dfs -xxx xxx是一样的

-help命令

主要用于查看命令帮助,有啥不懂的命令可以利用help进行查看

要是实在是看不懂讲啥就是用百度

shell 获取 hadoop 最新路径 hadoop常用shell命令_大数据_02

上传

-moveFromLocal /本地路径 /hdfs路径 :从本地剪切黏贴到HDFS上

[root@master1 test]# hdfs dfs -moveFromLocal /root/test/word.txt /hdfs_test

shell 获取 hadoop 最新路径 hadoop常用shell命令_linux_03


它消失了

shell 获取 hadoop 最新路径 hadoop常用shell命令_大数据_04


shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_05


-copyFromLocal /本地路径 /hdfs路径:从本地拷贝文件到HDFS上

[root@master1 test]# hdfs dfs -copyFromLocal /root/test/word1.txt /hdfs_test

shell 获取 hadoop 最新路径 hadoop常用shell命令_linux_06


它还在

shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_07

shell 获取 hadoop 最新路径 hadoop常用shell命令_shell_08


-put /本地路径 /hdfs路径:和copy差不多(最常用)

[root@master1 test]# hdfs dfs -copyFromLocal /root/test/word1.txt /hdfs_test

shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_09


shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_10


-appendToFile /要追加文件的路径 /hdfs被追加文件:追加一个文件到已经存在的文件末尾

[root@master1 test]# hdfs dfs -appendToFile /root/test/word1.txt /hdfs_test/word.txt

shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_11

shell 获取 hadoop 最新路径 hadoop常用shell命令_hdfs_12

下载

-copyToLocal /hdfs路径 /本地路径: 从HDFS拷贝到本地

[root@master1 test2]# hdfs dfs -copyToLocal /hdfs_test/word.txt /root/test2

shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_13


shell 获取 hadoop 最新路径 hadoop常用shell命令_hdfs_14

-get /hdfs路径 /本地路径: 等同于copy(最常用)

[root@master1 test2]# hdfs dfs -get /hdfs_test/word1.txt /root/test2

shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_15


shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_16

Hadoop其他shell

和linux命令基本一样

  1. -ls /hdfs路径 :显示目录信息
  2. -cat /hdfs文件: 显示文件内容
  3. -chgrp,-chmod,-chown 修改文件所属权限(太麻烦了)
    直接网页点击修改多方便
  4. shell 获取 hadoop 最新路径 hadoop常用shell命令_hadoop_17

  5. -mkdir /hdfs路径: 创建文件
  6. -cp /hdfs路径 /hdfs路径: 从HDFS路径拷贝到另一个HDFS下的路径
  7. -mv /hdfs路径 /hdfs路径: 在HDFS中移动文件
  8. -rm /hdfs文件路径: 删除文件
  9. -rm -rf /hdfs文件夹路径: 删除文件夹
  10. -tail /hdfs文件路径: 查看文件最尾部1KB数据
  11. -du -s -h /hdfs文件夹: 统计文件夹的大小信息
    -s表示整个文件夹大小,没有-s表示该文件夹下所有文件大小
  12. -setrep n /hdfs文件路径: 设置HDFS中文件的副本数量
    !!!前提是有那么多台的datanode