Hadoop组成

(1)Hadoop HDFS:(hadoop distribute file system )一个高可靠、高吞吐量的分布式文件系统。
(2)Hadoop MapReduce:一个分布式的离线并行计算框架。
(3)Hadoop YARN:作业调度与集群资源管理的平台。
(4)Hadoop Common:支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)。
单点启动
  1. 启动HDFS的namenode
sbin/hadoop-daemon.sh start namenode
Java进程:NameNode

2.启动HDFS的datanode

sbsbin/hadoop-daemon.sh start datanode
Java进程:NameNode

3.启动HDFS的secondarynamenode

sbin/hadoop-daemon.sh start secondarynamenode
Java进程:SecondaryNamenode

4.查看hdfs

查看hdfs文件系统:http://hadoop003:50070
namenode的通信地址是hdfs://hadoop003:9000
secondarynamenode是否正常,访问:http://hadoop005:50090

5.分别启动/停止hdfs组件

hadoop-daemon.sh  start|stop  namenode|datanode|secondarynamenode

6.启动/停止yarn

yarn-daemon.sh  start|stop  resourcemanager|nodemanager

7.整体启动/停止hdfs(在namenode节点启动,配置ssh免密是前提)

start-dfs.sh
stop-dfs.sh

8.整体启动/停止yarn (在resourcemanager节点启动)

start-yarn.sh
stop-yarn.sh

9.Yarn的web

Yarn的web页面查看地址:http://hadoop004:8088/

10.启动zookeeper

bin/zkServer.sh start
Java进程:QuorumPeerMain

11.启动hive

bin/hive

12.启动HBase服务

bin/hbase-daemon.sh start master
 bin/hbase-daemon.sh start regionserver
 提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。
修复提示:
a、同步时间服务
b、属性:hbase.master.maxclockskew设置更大的值
<property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
        <description>Time difference of regionserver from master</description>
 </property>
  bin/start-hbase.sh
  Java进程:HRegionServer,HMaster

13.查看HBase界面

访问HBase管理页面:http://hadoop003:16010

14.查看已经完成的历史作业记录(hadoop下)

sbin/mr-jobhistory-daemon.sh start historyserver
Java进程:JobHistoryServer

15.查看已经完成的历史作业记录(hadoop下)

nohup /opt/module/flume/bin/flume-ng agent --conf-file 文件路径/文件名.conf --name
Java进程:Application