hadoop getmerge效率慢 hadoop har

转载

香奈儿 2023-11-12 09:24:34

文章标签 hadoop getmerge效率慢 hadoop hdfs zookeeper 文章分类 Hadoop 大数据

HDFS-HA集群配置
步骤1：创建ha文件夹，修改文件所有者所属组（前提杀死hdfs集群）

sudo mkdir -p /opt/ha
sudo chown -R atguigu:atguigu /opt/ha

步骤2：准备配置的hadoop集群

cp /opt/module/hadoop-3.1.3 /opt/ha
rm -rf /data /logs

步骤3：修改配置文件

core-siet.xml

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/ha/hadoop-3.1.3/data</value>
    </property>
	<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>atguigu</value>
	</property>
	<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
		<property>
			<name>hadoop.proxyuser.atguigu.hosts</name>
			<value>*</value>
	</property>
	<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
		<property>
			<name>hadoop.proxyuser.atguigu.groups</name>
			<value>*</value>
	</property>
	<!-- 指定zkfc要连接的zkServer地址 -->
    <property>
	    <name>ha.zookeeper.quorum</name>
	    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
  <!-- 完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <!-- 集群中NameNode节点都有哪些 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
  </property>
  <!-- NameNode的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop102:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop103:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>hadoop104:9820</value>
  </property>
  <!-- NameNode的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop102:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop103:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>hadoop104:9870</value>
  </property>
  <!-- JournalNode数据存储目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>${hadoop.tmp.dir}/jn</value>
  </property>
  <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
  </property>
  <!-- 访问代理类：client用于确定哪个NameNode为Active -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <!-- 使用隔离机制时需要ssh秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/atguigu/.ssh/id_rsa</value>
  </property>
  <!-- 启动自动故障转移机制zkfc -->
  <property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
  </property>
</configuration>

步骤4：同步分发hadoop-3.1.3到其他NameNode

sudo xsync /opt/ha

步骤5：修改环境变量

sudo vim /etc/profile.d/my_env.sh
# 修改为：
# HADOOP_HOME # HA
export HADOOP_HOME=/opt/ha/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

步骤6：分发环境变量到其他NameNode

sudo xsync /etc/profile.d/my_env.sh
# 让环境变量生效(所有节点)
source /etc/profile.d/my_env.sh

步骤7：启动journalNode（群起）

hdfs --workers --daemon start journalnode
启动后等10秒左右，创建logs…

步骤8：在一台节点上，namenode -format格式化，然后开启namenode

# 在hadoop102上操作
hdfs namenode -format
hdfs --daemon start namenode

为什么要格式化一台namenode呢？
ormat一次就会生成一个集群id，多次生成会导致集群id不一致。
解决方法呢？–> 步骤9

步骤9：在其他NamoNode节点，拉取hadoop102的format信息

# 在hadoop103和hadoop104上分别拉取和启动
hdfs namenode -bootstrapStandby
hdfs --daemon start namenode

步骤10：开启zookeeper集群，在任意一台节点格式化zkfc

# 开启zookeeper集群
zkS.sh start
# 任意一台节点格式化zkfc
hdfs zkfc -formatZK

步骤11：启动zkfc（群起）

hdfs --workers --daemon start zkfc

步骤12：启动datanode（群起）

hdfs --workers --daemon start datanode

此后启动ha，就先启动zookeeper，然后启动就可以启动了。

如果不先启动zookeeper会导致：三台节点全是standby状态。

步骤13：验证ha高可用

# 杀死一台namenode节点
kill -9 namenode(进程号)
# 查看web端会有另外一台namenode成为active状态

4.5 YARN-HA集群配置
步骤1：修改配置文件

yarn-site.xml

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
	</property>
    <!-- 启用resourcemanager ha -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 声明两台resourcemanager的地址 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>
    <!--指定resourcemanager的逻辑列表-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
	</property>
	<!-- ========== rm1的配置 ========== -->
	<!-- 指定rm1的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
	</property>
	<!-- 指定rm1的web端地址 -->
	<property>
    	 <name>yarn.resourcemanager.webapp.address.rm1</name>
    	 <value>hadoop102:8088</value>
	</property>
	<!-- 指定rm1的内部通信地址 -->
	<property>
    	 <name>yarn.resourcemanager.address.rm1</name>
    	 <value>hadoop102:8032</value>
	</property>
	<!-- 指定AM向rm1申请资源的地址 -->
	<property>
    	 <name>yarn.resourcemanager.scheduler.address.rm1</name>  
    	 <value>hadoop102:8030</value>
	</property>
	<!-- 指定供NM连接的地址 -->  
	<property>
     	<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
     	<value>hadoop102:8031</value>
	</property>
	<!-- ========== rm2的配置 ========== -->
    <!-- 指定rm2的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.webapp.address.rm2</name>
    	 <value>hadoop103:8088</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.address.rm2</name>
    	 <value>hadoop103:8032</value>
	</property>
	<property>
     	<name>yarn.resourcemanager.scheduler.address.rm2</name>
     	<value>hadoop103:8030</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    	 <value>hadoop103:8031</value>
    </property>
    <!-- 指定zookeeper集群的地址 --> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    <!-- 启用自动恢复 --> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!-- 环境变量的继承 -->
 	<property>
        <name>yarn.nodemanager.env-whitelist</name>		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
	</property>
	<!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
	</property>
	<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
		<name>yarn.log.server.url</name>  
		<value>http://hadoop102:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

步骤2：分发配置文件到其他节点

xsync /opt/ha/hadoop-3.1.3/etc/hadoop

步骤3：重启hdfs

步骤4：在hadoop102或hadoop103启动YARN

步骤5：查看服务状态

yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

在web端hadoop102:8088和hadoop103:8088查看，都会跳转到当前为active状态的resourcemanager的界面。

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：java 怎么使用朴素贝叶斯分类器朴素贝叶斯分类器实现

下一篇：mysql 多个user MySQL 多个表select 相乘

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

hadoop getmerge效率慢 hadoop har

hadoop getmerge效率慢 hadoop har

51CTO博客