1. shell 获取 HDFS文件个数
>适用于查看碎片程度
hadoop fs -count /user | awk '{print $2}'
11(我的返回是11)
hadoop fs -count /user(你的路径) 返回的是 文件夹数 文件数 大小
| awk '{print $2}' 获取前者的第二列 , 也就是文件数目
2. Hadoop 提交作业(最基本)
hadoop jar /usr/app/hadoop-wordcount-1.0.jar \
com.ssss.WordCountApp \
/wordcount/input.txt /wordcount/output/WordCountApp
具体解释:
第一行是jar包的位置 ,
第二行是主类class所处的位置
第三行 , 输入和输出的位置 , 位于你的HDFS文件系统中
ps(你的集群版本必须和你的IDEA中hadoop的版本要一致 , 才能运行)