mapReduce执行java Jar地址

jar文件目录:hadoop/share/hadoop/mapreduce/Jar名+后缀


测试执行 例如Jar名为:mapReduce4_100.jar
hadoop jar Jar名 -starttime 20151027 -endtime 20151027
hadoop jar mapReduce4_100.jar -starttime 20151027 -endtime 20151027


各节点状态 存储空间使用率
hadoop dfsadmin -report


结束hadoop进程
hadoop job -list
hadoop job -kill job_201212111628_11166
hadoop job -status job-id //查看mr百分比


查看文件
 hdfs dfs -ls /yjxx/2015


删除文件
hdfs dfs -rmr /yjxx/2015


查看jps
jps


杀死jsp进程
kill JPS编号


复制文件至指定路径
scp 源文件 hadoop2:/home/hadoop.....


scp mapReduce_sjtdxx.jar hadoop2:/home/hadoop/hadoop2.7/share/hadoop/mapreduce




FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。
对HDFS文件系统,scheme是hdfs,
对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout。

查看hdfs文件目录 

 hadoop fs -ls url 

 hadoop fs -ls hdfs://192.168.60.31:9000/tdxx/2015/11 

 把本地文件复制到HDFS 

 hadoop fs -copyFromLocal localfile.txt /tdxxb/localfile.txt 

 把HDFS的文件复制到本地 

 hadoop fs -copyToLocal /tdxxb/localfile.txt ./localfile.txt 

 创建HDFS文件夹 

 hadoop fs -mkdir /books 

 列出HDFS文件系统根目录 

 hadoop fs -ls file:/// 



 编辑文件 hdfs 文件 

  vi hdfs://192.168.60.31:9000/tdxx/2015/11/20151112042224.tdxx 



 删除 hdfs文件 

 hadoop fs -rm hdfs://192.168.60.31:9000/tdxx/2015/11/2015111204.tdxx 



 删除提示:将文件移至  .Trash/Current文件中 

 Moved: 'hdfs://192.168.60.31:9000/sjxx/2015/11/20151111.sjxx' to trash at: hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current 



 恢复被删除的文件 

 hadoop fs -mv 被删除文件路径 移至目标路径 

 hadoop fs -mv  hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current/sjxx/2015/11/20151111.sjxx hdfs://192.168.60.31:9000/sjxx/2015/11/ 



 start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack 

 stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack 

 start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode 

 stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode 

 hadoop-daemons.sh start namenode 单独启动NameNode守护进程 

 hadoop-daemons.sh stop namenode 单独停止NameNode守护进程 

 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 

 hadoop-daemons.sh stop datanode 单独停止DataNode守护进程 

 hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程 

 hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程 

 start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker 

 stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker 

 hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程 

 hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程 

 hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程 

 hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程





如果Hadoop集群是第一次启动,可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动,启动的步骤如下。




1.启动Hadoop的HDFS模块里的守护进程




HDFS里面的守护进程启动也有顺序,即:




1)启动NameNode守护进程;




2)启动DataNode守护进程;




3)启动SecondaryNameNode守护进程。




2.启动MapReduce模块里面的守护进程




MapReduce的守护进程启动也是有顺序的,即:




1)启动 JobTracker守护进程;




2)启动TaskTracker守护进程。




关闭的步骤正好相反,

远程登录 

 ssh 用户名@IP 



 重启远程登录服务 

 service sshd restart 



 整体启停命令 

 start-all.sh 

 stop-all.sh 



 HDFS启停 

 start-dfs.sh 

 stop-dfs.sh 



 MapReduce启停 

 start-mapred.sh 

 stop-mapred.sh 



 NN启停命令 

 hadoop-daemon.sh start namenode 

 hadoop-daemon.sh stop namenode 



 SNN启停命令 

 hadoop-daemon.sh start secondarynamenode 

 hadoop-daemon.sh stop secondarynamenode 



 DN启停命令 

 hadoop-daemon.sh start datanode 

 hadoop-daemon.sh stop datanode 



 JobTracker启停命令 

 hadoop-daemon.sh start jobtracker 

 hadoop-daemon.sh stop jobtracker 



 TaskTracker启停命令 

 hadoop-daemon.sh start tasktracker 

 hadoop-daemon.sh stop tasktracker