1.基本公共搭建NAT网络；防火墙；ssh免密；主机名；主机IP映射；环境变量JAVA_HOME=/home/hadoop/app/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
HADOOP_HOME=/home/hadoop/app/
转载
2023-09-14 14:17:12
68阅读
非高可用集群搭建可以参看我写的博客1 体系架构图 集群节点分配情况192.168.100.200 wangyl-0 Active NameNode 192.168.100.201 &
非HA弊端 HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然是不可行的。 HA机制已知导致服务可靠性不高的原因是namenode节点宕机，那么怎么才能避免这个namenode节点宕机呢？一个容易想到的解决方案是部
转载
2024-09-27 11:25:34
56阅读
三、高可用1、zookeeper宕机与dubbo直连现象：zookeeper注册中心宕机，还可以消费dubbo暴露的服务。原因：健壮性：
监控中心宕掉不影响使用，只是丢失部分采样数据数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务注册中心对等集群，任意一台宕掉后，将自动切换到另一台注册中心全部宕掉后，服务提供者和服务消费者仍能通过本地缓存通讯服务提供者无状态，任意一台宕掉
server1-5五台配置好apache的hadoopnfs-utils rpcbind 将hadoops
原创
2022-11-19 10:19:38
195阅读
Zookeeper和hadoop的安装与部署Zookeeper的安装与部署hadoop高可用集群的搭建部署一、配置虚拟机二、安装hadoop4.修改相关配置（1）修改core-site.xml（2）修改hdfs-site.xml（3）修改yarn-site.xml（4）.修改mapred-site.xml(该文件不存在，需要手动创建)（5）修改slaves文件（6）f.修改hadoop-env.
转载
2023-08-10 20:40:00
50阅读
Mysql专栏收尾之作，作为一名后端开发人员，对于Mysql的知识了解到这里已经足以应对99的场景了，毕竟没有必要非要跟DBA抢活儿干。而且现在的趋势都是往云上走，云数据库已经帮我们处理了高可用和数据一致性的事情了，所以当扩展知识了解就好，实际应用场景几乎没有，在本篇文章中并没有给出具体的配置实现。Mysql热备Mysql自身提供了数据复制的方式-主从同步。 基于Mysql的主从同步，我们可以生成
转载
2023-10-09 10:42:30
71阅读
前言对于 MySQL 数据库作为各个业务系统的存储介质，在系统中承担着非常重要的职责，如果数据库崩了，那么对于读和写数据库的操作都会受到影响。如果不能迅速恢复，对业务的影响是非常大的。之前 B 站不是出过一次事故么，2 小时才恢复过来，详细可以看之前写的文章。一、方案选择对于 MySQL 的高可用，主要分为两步，配置 MySQL 主主模式和 keepalived 软件。拓扑图如下所示：MySQL
转载
2023-10-04 18:29:48
131阅读
本次专题是 MySQL高可用方案选型，这个专题想必有很多同学感兴趣。高可用的意义以及各种不同高可用等级相应的停机时间我就不必多说了，直接进入主题。可选MySQL高可用方案MySQL的各种高可用方案，大多是基于以下几种基础来部署的：基于主从复制；基于Galera协议；基于NDB引擎；基于中间件/proxy；基于共享存储；基于主机高可用；在这些可选项中，最常见的就是基于主从复制的方案，其次是
转载
2023-11-22 15:01:34
161阅读
1.文档编写目的
之前Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》，这种方案也有一些弊端，如HAProxy本身就是单点，虽然可以通过Keepalived来实现HAProxy的高可用，但这样配置会比较麻烦并且需要多部署两个组件，增大了系统运维的复杂度。在大数据平台中Zookeeper是一个必不可少且自身具有高可用保证的组件，本文主要讲述如何使用Zookeep
转载
2021-08-03 15:15:06
1859阅读
# Zookeeper在Hadoop生态中的作用
在大数据处理的背景下，Hadoop已经成为一个广泛使用的开源分布式计算平台。在Hadoop生态系统中，Apache Zookeeper 同样扮演着关键角色。Zookeeper 提供了一种简单的、通用的、强一致性的数据存储，也被用于管理和协调分布式应用程序，尤其是在 Hadoop 的应用场景中。下面我们将通过几个步骤来了解 Zookeeper 在
专栏目录(1)大数据和应用场景介绍(2)大数据技术综述总结(3)HDFS原理与高可用技术原理介绍(4)Yarn架构、资源管理原理和运维技术介绍(5)Kafka原理和高可用介绍1.HDFS简介
HDFS也是由Doug Cutting基于Google公司03年10月开源的论文GFS做的开源实现。目前为止，HDFS的运用非常广泛，基本上很多大数据平
转载
2023-10-07 19:50:47
120阅读
1.资源角色规划 官网ha配置： https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details
2.配置2.1对现有的全分布式集群hadoo
转载
2023-07-31 17:40:17
79阅读
Quorum Journal Manager实现高可用主备HDFS高可用性功能通过提供在具有热备用的主动/被动配置中在同一群集中运行两个冗余NameNode的选项来解决。这样可以在机器崩溃的情况下快速故障转移到新的NameNode，或者出于计划维护的目的由管理员发起的正常故障转移。在典型的HA群集中，将两个单独的计算机配置为NameNode。在任何时间点，一个NameNode都恰好处于
转载
2024-01-17 11:48:51
43阅读
前言ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。ZooKeeper功能很强大，但是在分布式项目中也会存在单点失败问题，所以为了实现服务的高可用，ZooKeeper的集群也是必不可少的。集群架构为了保证高可用，最好是以集群形
转载
2024-02-14 22:25:44
168阅读
1 HA概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群 &n
转载
2023-12-21 20:19:48
62阅读
什么是高可用性？高可用集群是指以减少服务中断时间为目的的服务器集群技术。高可用性HA（HighAvailability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。高可用性（HA）的功能：1、软件故障监测与排除2、备份和数据保护 - 3、管理站能够监视各站点的运行情况，能随时或定时报告系统运行状况，故障
转载
2024-01-10 22:17:12
67阅读
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop
转载
2023-07-14 15:21:59
512阅读
高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。而Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即
转载
2023-09-22 12:59:01
174阅读
我们首先看一下普通的HA, 由于发生故障时需要依赖于管理员手动切换NameNode，由于管理员不可能随时随地监控集群，所以自动主备切换很有必要。一 HA整体架构HA总共有2个NameNode， ActiveNameNode和StandbyNameNode,2个NameNode互为主备，处于Active状态的是主NameNode，处于Standby状态的是备NameNode，只有主NameNode才
转载
2023-09-19 07:23:38
106阅读
