hadoop集群一台机器宕机 hadoop集群搭建运行成功截图

文章目录

• 时区同步
• zookeeper安装

• 解压
• 修改配置文件

• hadoop安装

• 解压
• 配置文件修改

• 1、core-site.xml

• 2、hdfs-site.xml

• 3、mapre-site.xml
• 4、yarn-site.xml
• 6、slaves

• 测试

• 测试故障转移

时区同步

yum install -y ntp

vi /etc/ntp.conf进入文件内修改

启动ntp： /bin/systemctl start ntpd.service

开始同步： ntpstat

等待十几分钟，完成同步

zookeeper安装

解压

tar -zxvf 解压包

修改配置文件

vi conf/zpp.cfg

server.0=hadoop104:2287:3387
server.1=hadoop101:2287:3387
server.2=hadoop103:2287:3387

mkdir zkData(自己写的路径)

vi zkData/myid

三台节点分别写 0 1 2

hadoop安装

解压

tar -zxvf 解压包

配置文件修改

vi etc/hadoop/
修改配置文件

1、core-site.xml

<configuration> 
<!-- 把两个 NameNode）的地址组装成一个集群 mycluster -->
 <property> <name>fs.defaultFS</name> 
 <value>hdfs://mycluster</value> 
 </property> 
 <!-- 指定 hadoop 运行时产生文件的存储目录 -->
  <property>
   <name>hadoop.tmp.dir</name> 
   <value>/opt/install/hadoop/data/tmp</value> 
   </property>
   <!--配置 HDFS-HA 自动故障转移-->
   <property> 
   <name>ha.zookeeper.quorum</name> <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
   </property>
  </configuration>

配置完如图

2、hdfs-site.xml

<configuration>
 <!-- 完全分布式集群名称 --> 
 <property> <name>dfs.nameservices</name>
  <value>mycluster</value> 
  </property> 
  <!-- 集群中 NameNode 节点都有哪些,这里是 nn1 和 nn2 --> 
  <property>
   <name>dfs.ha.namenodes.mycluster</name> 
   <value>nn1,nn2</value>
</property> 
<!-- nn1 的 RPC 通信地址 --> 
<property> 
<name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop102:9000</value>
 </property>
 <!-- nn2 的 RPC 通信地址 --> 
 <property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop103:9000</value> 
  </property>
   <!-- nn1 的 http 通信地址 -->
    <property> 
    <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop102:50070</value>
 </property> 
 <!-- nn2 的 http 通信地址 -->
  <property>
   <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop103:50070</value> 
   </property> 
   <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 --> 
   <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/my cluster</value> 
  </property> 
 <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property> 
  <name>dfs.ha.fencing.methods</name>
   <value>
   sshfence
   shell(/bin/true)
   </value> 
   </property>
    <!-- 使用隔离机制时需要 ssh 无秘钥登录-->
    <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name> 
<value>/home/hadoop/.ssh/id_rsa</value>
 </property> 
 <!-- 声明 journalnode 服务器存储目录--> 
 <property> 
 <name>dfs.journalnode.edits.dir</name>
  <value>/opt/install/hadoop/data/jn</value> 
  </property> 
  <!-- 关闭权限检查-->
   <property> 
   <name>dfs.permissions.enable</name>
    <value>false</value> 
    </property>
     <!-- 访问代理类：client，mycluster，active 配置失败自动切换实现方 式-->
     <property> 
     <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailover ProxyProvider</value> 
 </property> 
 <!--配置 HDFS-HA 自动故障转移-->
 <property>
  <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value> 
   </property>
 </configuration>

配置完如图

3、mapre-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
         <name>mapreduce.jobhistory.address</name>
         <value>hadoop104:10020</value>
  </property>
  <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop104:19888</value>
  </property>
</configuration>

4、yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>cluster-yarn1</value>
</property>
<property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
</property>
<property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>hadoop104</value>
</property>
<property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>hadoop103</value>
</property>
<property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>hadoop104:2181,hadoop101:2181,hadoop103:2181</value>
</property>
<property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
</property>
<property>
 <name>yarn.resourcemanager.store.class</name>
 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

6、slaves

测试

1.在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务：
$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

2.在[nn1]上，对其进行格式化，并启动：
$HADOOP_HOME/bin/hdfs namenode -format
$HADOOP_HOME/bin/hdfs zkfc -formatZK
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
(或者 执行 scp -r tmp root【用户名】@hadoop103【主机名】:$PWD/ ,跳过后续步骤)

3.在[nn2]上，同步 nn1 的元数据信息：
$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby
/**
4.启动[nn2]：
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode

5.查看 web 页面显示

6.在[nn1]上，启动所有 datanode
$HADOOP_HOME/sbin/hadoop-daemons.sh start datanode

7.将[nn1]切换为 Active
$HADOOP_HOME/bin/hdfs haadmin -transitionToActive nn1

8.查看是否 Active
$HADOOP_HOME/bin/hdfs haadmin -getServiceState nn1
*/

测试故障转移

–1、启动
（1）关闭所有 HDFS 服务：
$HADOOP_HOME/sbin/stop-dfs.sh
（2）启动 Zookeeper 集群：
$HADOOP_HOME/bin/zkServer.sh start
（3）初始化 HA 在 Zookeeper 中状态：
$HADOOP_HOME/bin/hdfs zkfc -formatZK
（4）启动 HDFS 服务：
$HADOOP_HOME/sbin/start-dfs.sh

*[HTML]:
（5）在各个 NameNode 节点上启动 DFSZKFailover Controller，先在哪台机器 启动，哪个机器的 NameNode 就是 Active。语句：NameNode $HADOOP_HOME/sbin/hadoop-daemin.sh start zkfc

2.验证
（1）将 Active NameNode 进程 kill kill -9 namenode 的进程 id
（2）将 Active NameNode 机器断开网络 service network stop

3.启动 yarn
（1）在 hadoop102 中执行：
$HADOOP_HOME/sbin/start-yarn.sh
（2）在 hadoop103 中执行：
$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
（3）查看服务状态
$HADOOP_HOME/bin/yarn rmadmin -getServiceState rm1