搭建步骤
1.检查阶段
1.1. 检查环境是否安装了JDK、Zookeeper、Hadoop。
1.2. 检查Hosts文件是否做了IP和主机名的映射关系
1.3. 检查免密登录是否完成,测试三台服务器之间是否可以免密登录。
1.4. 检查主机是否修改了主机名。
2.部署阶段
2.1修改hadoop的配置文件(一定要注意路径的问题)
2.1.1 vim hadoop-env.sh
export JAVA_HOME=/home/software/jdk1.8.0_131
export HADOOP_CONF_DIR=/home/software/hadoop-2.9.2/etc/hadoop
2.1.2 vim core-site.xml
<configuration>
<!--指定hdfs的nameservice,为整个集群起一个别名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定Hadoop数据存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.9.2/tmp</value>
</property>
<!--指定Zookeeper的地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
2.1.3 vim hdfs-site.xml
<configuration>
<!--执行HDFS的nameservice为ns,注意此处的需要和core-site.xml中的名称保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--ns集群中有两个namenode,分别为nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--配置nn1的RPC的通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>
<!--配置nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>
<!--配置nn2的RPC的通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>
<!--配置nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定NameNode1的元数据存放在JournalNode上面,NameNode2可以从JournalNode上面获取信息,从而达到热备的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
</property>
<!--配置JournalNode的数据存放在本地硬盘上-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/software/hadoop-2.9.2/tmp/journal</value>
</property>
<!--开启NameNode在遇到故障时自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置遇到失败自动切换的实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--配置隔离机制时需要使用ssh免登录-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!--配置namenode存放的元数据目录,此项不配置也可以,如果不配置那么则默认存放到hadoop.tmp.dir目录下-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/software/hadoop-2.9.2/tmp/hdfs/name</value>
</property>
<!--配置datanode存放数据的目录,此项也可以不配置,同上!-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/software/hadoop-2.9.2/tmp/hdfs/data</value>
</property>
<!--配置副本的数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设定hdfs的用户操作权限,false则表示关闭验证,任何人都可以操作-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
2.1.4 vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.1.5 vim yarn-site.xml
<configuration>
<!--配置yarn的高可用-->
<property>
<name>yarn.resoucemanager.ha.enabled</name>
<value>true</value>
</property>
<!--指定两个resourcemanager的名称-->
<property>
<name>yarn.resoucesmanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--配置rm1的主机-->
<property>
<name>yarn.resourcemanager.hostname-rm1</name>
<value>hadoop01</value>
</property>
<!--配置rm2的主机-->
<property>
<name>yarn.resourcemanager.hostname-rm2</name>
<value>hadoop03</value>
</property>
<!--执行rm恢复机制实现类-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!--配置Zookeeper的地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<!--给yarn集群起个别名-->
<property>
<name>yarn.resoucemanager.cluster-id</name>
<value>ns-yarn</value>
</property>
<!--指定nodemanager启动时加载server的方式为shuffle server-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定resourcemanager地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop03</value>
</property>
</configuration>
2.1.6 vim slaves
hadoop01
hadoop02
hadoop03
3.启动阶段:
1. 在三台服务器中启动zk:
zkServer.sh start
2. 在zk的leader节点上执行格式化命令
hdfs zkfc -formatZK
3. 在三台服务器上启动journalnode
hadoop-daemon.sh start journalnode
4. 在第一台节点上格式化NameNode
hadoop namenode -format
5. 在第一台节点上启动NameNode
hadoop-daemon.sh start namenode
6. 在第二台节点上格式化NameNode
hdfs namenode -bootstrapStandby
7. 在第二台节点上启动NameNode
hadoop-daemon.sh start namenode
8. 在三台服务器上启动DataNode。
hadoop-daemon.sh start datanode
9. 在第一和第二台节点上,启动zkfc
hadoop-daemon.sh start zkfc
10. 在第一台节点上启动yarn:
start-yarn.sh
11. 在第三台节点上启动ResourceManager
yarn-daemon.sh start resourcemanager