Hadoop组成
(1)Hadoop HDFS:(hadoop distribute file system )一个高可靠、高吞吐量的分布式文件系统。
(2)Hadoop MapReduce:一个分布式的离线并行计算框架。
(3)Hadoop YARN:作业调度与集群资源管理的平台。
(4)Hadoop Common:支持其他模块的工具模块(Configuration、RPC、序列化机制、日志操作)。
单点启动
- 启动HDFS的namenode
sbin/hadoop-daemon.sh start namenode
Java进程:NameNode
2.启动HDFS的datanode
sbsbin/hadoop-daemon.sh start datanode
Java进程:NameNode
3.启动HDFS的secondarynamenode
sbin/hadoop-daemon.sh start secondarynamenode
Java进程:SecondaryNamenode
4.查看hdfs
查看hdfs文件系统:http://hadoop003:50070
namenode的通信地址是hdfs://hadoop003:9000
secondarynamenode是否正常,访问:http://hadoop005:50090
5.分别启动/停止hdfs组件
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
6.启动/停止yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
7.整体启动/停止hdfs(在namenode节点启动,配置ssh免密是前提)
start-dfs.sh
stop-dfs.sh
8.整体启动/停止yarn (在resourcemanager节点启动)
start-yarn.sh
stop-yarn.sh
9.Yarn的web
Yarn的web页面查看地址:http://hadoop004:8088/
10.启动zookeeper
bin/zkServer.sh start
Java进程:QuorumPeerMain
11.启动hive
bin/hive
12.启动HBase服务
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver
提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。
修复提示:
a、同步时间服务
b、属性:hbase.master.maxclockskew设置更大的值
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
<description>Time difference of regionserver from master</description>
</property>
bin/start-hbase.sh
Java进程:HRegionServer,HMaster
13.查看HBase界面
访问HBase管理页面:http://hadoop003:16010
14.查看已经完成的历史作业记录(hadoop下)
sbin/mr-jobhistory-daemon.sh start historyserver
Java进程:JobHistoryServer
15.查看已经完成的历史作业记录(hadoop下)
nohup /opt/module/flume/bin/flume-ng agent --conf-file 文件路径/文件名.conf --name
Java进程:Application