hdfs 文件目录如下

hadoop的hdfs使用小结_本地文件

1创建目录(bin目录下)
hdfs dfs -mkdir -p /user/lin
2查找文件系统目录
hdfs dfs -ls /
3将本地文件上传到文件目录
bin/hdfs dfs -put README.txt /user/lin
4统计单词
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lin/ /user/kn
5不能经常格式化的原因
会导致DataNode和NameNode的clusterId不同

拷贝文件

rsync -rvl /export/servers/rsy/ hadoop02:/export/servers/rsy/

hadoop的hdfs使用小结_本地文件_02

查看帮助

hdfs dfs or hadoop fs

将本地文件剪切到hdfs目录中

hadoop fs -moveFromLocal gg.txt /usr/

hadoop的hdfs使用小结_big data_03

将本地的文件追加到hdfs系统中并查看
hadoop fs -appendToFile an.txt /usr/gg.txt
hadoop fs -cat /usr/gg.txt

修改所属的组

从本地文件拷贝到hdfs中

hadoop fs -copyFromLocal an.txt /usr/hadoop

从hdfs拷贝文件到本地文件中

hadoop fs -copyToLocal /usr/hadoop/in/2019.txt /export/servers/hadoop/bin/test1

可用 -get 和 -put 替代

hdfs的不同目录的拷贝

hadoop fs -cp /usr/hadoop/an.txt /usr/hadoop/in

hdfs删除目录

hadoop fs -rm -r /usr/

hdfs目录所占的内存

hadoop fs -du -h /user

查看所有的hdfs的所占的内存

hadoop fs -du -h -s /

hadoop的hdfs使用小结_本地文件_04

修改文件权限
hadoop dfs -chmod -R 755 /tmp/
hdfs dfs -chmod -R 755 /tmp/