mapReduce执行java Jar地址
jar文件目录:hadoop/share/hadoop/mapreduce/Jar名+后缀
测试执行
例如Jar名为:mapReduce4_100.jar
hadoop jar Jar名 -starttime 20151027 -endtime 20151027
hadoop jar mapReduce4_100.jar -starttime 20151027 -endtime 20151027
各节点状态 存储空间使用率
hadoop dfsadmin -report
结束hadoop进程
hadoop job -list
hadoop job -kill job_201212111628_11166
hadoop job -status job-id //查看mr百分比
查看文件
hdfs dfs -ls /yjxx/2015
删除文件
hdfs dfs -rmr /yjxx/2015
查看jps
jps
杀死jsp进程
kill JPS编号
复制文件至指定路径
scp 源文件 hadoop2:/home/hadoop.....
scp mapReduce_sjtdxx.jar hadoop2:/home/hadoop/hadoop2.7/share/hadoop/mapreduce
FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。
对HDFS文件系统,scheme是hdfs,
对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更简单的/parent/child(假设你配置文件中的默认值是namenode:namenodeport)。大多数FS Shell命令的行为和对应的Unix Shell命令类似,不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr,其他信息输出到stdout。
查看hdfs文件目录
hadoop fs -ls url
hadoop fs -ls hdfs://192.168.60.31:9000/tdxx/2015/11
把本地文件复制到HDFS
hadoop fs -copyFromLocal localfile.txt /tdxxb/localfile.txt
把HDFS的文件复制到本地
hadoop fs -copyToLocal /tdxxb/localfile.txt ./localfile.txt
创建HDFS文件夹
hadoop fs -mkdir /books
列出HDFS文件系统根目录
hadoop fs -ls file:///
编辑文件 hdfs 文件
vi hdfs://192.168.60.31:9000/tdxx/2015/11/20151112042224.tdxx
删除 hdfs文件
hadoop fs -rm hdfs://192.168.60.31:9000/tdxx/2015/11/2015111204.tdxx
删除提示:将文件移至 .Trash/Current文件中
Moved: 'hdfs://192.168.60.31:9000/sjxx/2015/11/20151111.sjxx' to trash at: hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current
恢复被删除的文件
hadoop fs -mv 被删除文件路径 移至目标路径
hadoop fs -mv hdfs://192.168.60.31:9000/user/hadoop/.Trash/Current/sjxx/2015/11/20151111.sjxx hdfs://192.168.60.31:9000/sjxx/2015/11/
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode 单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode 单独停止SecondaryNameNode守护进程
start-mapred.sh 启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker 单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker 单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker 单独启动TaskTracker守护进程
如果Hadoop集群是第一次启动,可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动,启动的步骤如下。
1.启动Hadoop的HDFS模块里的守护进程
HDFS里面的守护进程启动也有顺序,即:
1)启动NameNode守护进程;
2)启动DataNode守护进程;
3)启动SecondaryNameNode守护进程。
2.启动MapReduce模块里面的守护进程
MapReduce的守护进程启动也是有顺序的,即:
1)启动 JobTracker守护进程;
2)启动TaskTracker守护进程。
关闭的步骤正好相反,
远程登录
ssh 用户名@IP
重启远程登录服务
service sshd restart
整体启停命令
start-all.sh
stop-all.sh
HDFS启停
start-dfs.sh
stop-dfs.sh
MapReduce启停
start-mapred.sh
stop-mapred.sh
NN启停命令
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
SNN启停命令
hadoop-daemon.sh start secondarynamenode
hadoop-daemon.sh stop secondarynamenode
DN启停命令
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
JobTracker启停命令
hadoop-daemon.sh start jobtracker
hadoop-daemon.sh stop jobtracker
TaskTracker启停命令
hadoop-daemon.sh start tasktracker
hadoop-daemon.sh stop tasktracker