目录
- 第一步先开集群!!!
- -help命令
- 上传
- 下载
- Hadoop其他shell
第一步先开集群!!!
这个myhadoop.sh是我自己写的脚本,正常start-dfs/yarn启动就行
前缀hadoop fs -xxx xxx
和hdfs dfs -xxx xxx
是一样的
-help命令
主要用于查看命令帮助,有啥不懂的命令可以利用help进行查看
要是实在是看不懂讲啥就是用百度
上传
-moveFromLocal /本地路径 /hdfs路径
:从本地剪切黏贴到HDFS上
[root@master1 test]# hdfs dfs -moveFromLocal /root/test/word.txt /hdfs_test
它消失了
-copyFromLocal /本地路径 /hdfs路径
:从本地拷贝文件到HDFS上
[root@master1 test]# hdfs dfs -copyFromLocal /root/test/word1.txt /hdfs_test
它还在
-put /本地路径 /hdfs路径
:和copy差不多(最常用)
[root@master1 test]# hdfs dfs -copyFromLocal /root/test/word1.txt /hdfs_test
-appendToFile /要追加文件的路径 /hdfs被追加文件
:追加一个文件到已经存在的文件末尾
[root@master1 test]# hdfs dfs -appendToFile /root/test/word1.txt /hdfs_test/word.txt
下载
-copyToLocal /hdfs路径 /本地路径
: 从HDFS拷贝到本地
[root@master1 test2]# hdfs dfs -copyToLocal /hdfs_test/word.txt /root/test2
-get /hdfs路径 /本地路径
: 等同于copy(最常用)
[root@master1 test2]# hdfs dfs -get /hdfs_test/word1.txt /root/test2
Hadoop其他shell
和linux命令基本一样
- -ls /hdfs路径 :显示目录信息
- -cat /hdfs文件: 显示文件内容
- -chgrp,-chmod,-chown 修改文件所属权限(太麻烦了)
直接网页点击修改多方便 - -mkdir /hdfs路径: 创建文件
- -cp /hdfs路径 /hdfs路径: 从HDFS路径拷贝到另一个HDFS下的路径
- -mv /hdfs路径 /hdfs路径: 在HDFS中移动文件
- -rm /hdfs文件路径: 删除文件
- -rm -rf /hdfs文件夹路径: 删除文件夹
- -tail /hdfs文件路径: 查看文件最尾部1KB数据
- -du -s -h /hdfs文件夹: 统计文件夹的大小信息
-s表示整个文件夹大小,没有-s表示该文件夹下所有文件大小 - -setrep n /hdfs文件路径: 设置HDFS中文件的副本数量
!!!前提是有那么多台的datanode