HadoopHA
高可用配置文件修改&启动步骤说明core-site.xml的配置<!-- 指定
hdfs的nameservice为，如myns1，统一对外提供服务的名字
不再单独指定某一个机器节点-->
<property>
<name>fs.defaultFS</name>
<value>
hdfs://myns1/</v
转载
2024-04-15 18:51:14
71阅读
Redis如何保证高可用1. Redis本身决定的1.1. 基于单线程的IO多路复用~解释：快的原因主要是IO多路复用什么是IO多路？简单说，redis就是我们的一个"用户线程"，在读写操作等待用户输入或输出都是阻塞的，一直等待肯定是不合理的。我们就在“用户线程”在于操作系统层面请求数据的时候，只需要监听一个Select事件就行。一定周期，我们就去问一次“select”：“有没有数据来啊？”当用户
转载
2023-10-03 18:09:38
15阅读
高可用 HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是 100%。如果系统每运行 100 个时间单位，会有 1 个时间单位无法提供服务，我们说系统的可用性是 99%。很多公司的高可用目标是 4 个 9，也就是 99.99%，这就意味着，系统的年停机时间为 8.76 个
转载
2024-02-22 14:43:17
37阅读
# MySQL 高可用性方案
在今天的互联网应用中，高可用性（HA）是保证系统稳定运行的重要因素。MySQL 是一种广泛使用的关系型数据库，通过若干种策略，可以实现高可用性。本文将探讨几种实现 MySQL 高可用性的策略，并通过代码示例进行说明。
## 高可用性策略
### 1. 主从复制
主从复制是实现 MySQL 高可用性最常用的方式之一。主库负责处理写请求，从库用来承载读请求，从而分
原创
2024-10-23 06:11:26
18阅读
# Redis 如何保证高可用性
在现代应用中，Redis 被广泛用于缓存和数据存储，但当我们谈到高可用性时，Redis 自身并不具备内建的高可用特性。如何确保 Redis 的高可用性是一个实际问题，特别是在企业级应用中。本文将探讨 Redis 的高可用解决方案，并通过示例进行说明。
## 高可用性需求
高可用性主要指的是系统的持续可用性、抗故障和实时性。在 Redis 中，不可用的原因可能
原创
2024-10-28 06:02:33
62阅读
什么叫可靠性？大家都知道，系统架构有三高：「高性能、高并发和高可用」，三者的重要性不言而喻。对于任意系统，想要同时满足三高都是一件非常困难的事情，大型业务系统或者传统中间件都会搭建复杂的架构来保证。除以上三种模式之外，还有一个指标方向也很重要，那就是高可靠，甚至你可能会将它和「高可用」混淆起来。事实上两者并不一样，高可用会更偏向于整体服务的可用性，防止系统宕机等等。而高可靠是指数据的可靠性保证嘛，
1.安装 zookeeper 集群，此处略2.找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz， 这里给大家提供一个下载地址：http://mirrors.hust.edu.cn/apache/hbase/ 对应版本的官方文档：http://hbase.apache.org/1
1.概述 (1) 所谓HA（high available），即高可用（7*24小时不中断服务）。 (2) 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 (3) Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 (4) NameNode主要在以下两个方面影响HD
转载
2024-05-26 17:10:29
118阅读
后面会写一个shell脚本去启动、关闭、重启、查看集群的博客
一、安装前准备 集群主机规划 IP编号安装软件主机名进程192.168.18.27node1jdk/hadoop/hbase主Master27NameNode、DFSZKFailoverController、ResourceManager、HMaster192.168.18.28node2jdk/hadoop/hb
转载
2023-09-28 15:59:07
116阅读
namenode存储的数据：主控服务器主要有三类数据：文件系统的目录结构数据，各个文件的分块信息，数据块的位置信息（就数据块放置在哪些数据服务器上...）。在GFS和HDFS的架构中，只有文件的目录结构和分块信息才会被持久化到本地磁盘上，而数据块的位置信息则是通过动态汇总过来的，仅仅存活在内存数据结构中，机器挂了，就灰飞烟灭了。每一个数据服务器启动后，都会向主控服务器发送注册消息，将其上数据块的状
转载
2024-04-26 19:05:01
52阅读
Hadoop HA（High Available）通过同时配置两个处于Active/Passive模式的Namenode来解决上述问题，分别叫Active Namenode和Standby Namenode. Standby Namenode作为热备份，从而允许在机器发生故障时能够快速进行故障转移，同时在日常维护的时候使用优雅的方式进行Namenode切换。Namenode只能配置一主一备，不能多
转载
2024-04-05 18:56:47
26阅读
一、元数据服务高可用1.1高可用的需求故障类型：软件故障硬件故障人为故障灾难：数据中心级别不可用故障不可避免，灾难有时发生如果HDFS不可用，业务停止的损失极大，所以高可用就至关重要1.2高可用形式服务高可用有热备份：有另一个备份节点，发生故障时可直接切换冷备份：将关键性文件切换到另外位置，发生故障时通过备份数据进行恢复。故障恢复操作：人工切换自动切换人工的反应、决策时间都更长，高可用需要让系统自
转载
2024-05-18 21:37:42
99阅读
Table of ContentsHDFS高可用性介绍背景HA实现Quorum-based存储自动故障转移关于HDFS HA的一般问题“Operation category READ/WRITE is not supported in state standby”是什么意思?为HDFS HA配置硬件开启HDFS HA使用 Cloudera 管理器启用 HDFS HA启用高可用性和自动故障转移Fen
转载
2024-03-18 10:40:23
138阅读
HDFS Namenode 高可用在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍
转载
2023-08-03 23:36:29
141阅读
说到注册中心,相信很多人用过eureka和nacos,用法比较简单,只需引用jar包和配置服务器地址即可启用.但是今天我要说的不是两者的使用或者原理,而是更纯粹一点,就是手搓一个注册中心.概念其实注册中心的概念就是提供给外部用来注册信息和获取信息的储存服务,这个存储服务的载体是数据库,也可以是系统应用.当然,我们一般不会采用直连数据库这种方案,所以比较合适的方案是搭建系统应用作为注册中心. 注册中
（如无特殊说明，本文中hostname特指eureka.instance.hostname，defaultZone特指eureka.client.serviceUrl.defaultZone）先说一下我们采用的最终方案spring:
application:
name: eureka
server:
port: 8761
eureka:
instance:
host
大致来说，zookeeper 的使用场景如下，我就举几个简单的，大家能说几个就好了：分布式协调分布式锁元数据/配置信息管理HA高可用性分布式协调这个其实是 zookeeper 很经典的一个用法，简单来说，就好比，你 A 系统发送个请求到 mq，然后 B 系统消息消费之后处理了。那 A 系统如何知道 B 系统的处理结果？用 zookeeper 就可以实现分布式系统之间的协调工作。A 系统发送请求之后
转载
2024-02-21 15:26:25
68阅读
redis集群演变过程单机版核心技术：持久化持久化是最简单的高可用方法，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失。主从复制复制是高可用redis的基础，哨兵和集群都是在复制基础上实现高可用，复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复，缺陷是故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制；哨兵在复制的基础上，哨兵实现了自动化的故
转载
2023-08-11 13:30:14
70阅读
HDFS 高可用 Yarn 高可用
原创
2022-12-28 15:22:35
277阅读
**实现HDFS高可用的流程**
| 步骤 | 操作 |
| ---- | ---- |
| 1. 安装和配置ZooKeeper | 设置ZooKeeper集群，用于协调HDFS主节点的选举 |
| 2. 修改hadoop配置文件 | 配置hdfs-site.xml和core-site.xml文件以启用HDFS的高可用 |
| 3. 初始化和启动JournalNodes | 启动Jour
原创
2024-05-24 09:53:36
69阅读
