Hadoop端口介绍

9000 namenode的常用端口 给机子
 8020 namenode的RPC调用端口（接收Client连接的RPC端口，用于获取文件系统metadata信息）
 50070 namenode http HDFS查看端口 web
 50470 https 查看HDFS端口
 50090 secondaryNamenode
 8088 ResourceManager YARN集群端口
 8089 Web Application Proxy web代理
 10020 JobHistory(host)
 19888 JobHistory (web)
 8030-8033 resourcemanage组件

Hadoop各种启动命令列表

Start-all.sh/Stop-all.sh   开启关闭所有进程
Start-dfs.sh    开启hdfs 进程
Start-yarn.sh   开启yarn进程
Hadoop namenode –format   对HDFS进行格式化
hadoop-daemon.sh start namenode    单独启动namenode
hadoop-daemons.sh start datanode   单独启动datanode
yarn-daemon.sh start resourcemanager   启动resourcemanager
yarn-daemons.sh start nodemanager   启动nodemanager
yarn-daemon.sh start proxyserver   启动yarn日志代理服务
mr-jobhistory-daemon.sh start historyserver   启动MR的jobhistory服务 历史服务器开启

Hadoop的基准测试

Yarn jar hadoop-mapreduce-client-joblient-tests.jar TestDFSIO –write
 –nrFiles 10 –size 1000MB
 Yarn jar hadoop-mapreduce-client-joblient-tests.jar TestDFSIO –read
 –nrFiles 10 –size 1000MB
 Yarn jar hadoop-mapreduce-client-joblient-tests.jar TestDFSIO –clean