Mysql专栏收尾之作，作为一名后端开发人员，对于Mysql的知识了解到这里已经足以应对99的场景了，毕竟没有必要非要跟DBA抢活儿干。而且现在的趋势都是往云上走，云数据库已经帮我们处理了高可用和数据一致性的事情了，所以当扩展知识了解就好，实际应用场景几乎没有，在本篇文章中并没有给出具体的配置实现。Mysql热备Mysql自身提供了数据复制的方式-主从同步。 基于Mysql的主从同步，我们可以生成
转载
2023-10-09 10:42:30
71阅读
前言对于 MySQL 数据库作为各个业务系统的存储介质，在系统中承担着非常重要的职责，如果数据库崩了，那么对于读和写数据库的操作都会受到影响。如果不能迅速恢复，对业务的影响是非常大的。之前 B 站不是出过一次事故么，2 小时才恢复过来，详细可以看之前写的文章。一、方案选择对于 MySQL 的高可用，主要分为两步，配置 MySQL 主主模式和 keepalived 软件。拓扑图如下所示：MySQL
转载
2023-10-04 18:29:48
131阅读
本次专题是 MySQL高可用方案选型，这个专题想必有很多同学感兴趣。高可用的意义以及各种不同高可用等级相应的停机时间我就不必多说了，直接进入主题。可选MySQL高可用方案MySQL的各种高可用方案，大多是基于以下几种基础来部署的：基于主从复制；基于Galera协议；基于NDB引擎；基于中间件/proxy；基于共享存储；基于主机高可用；在这些可选项中，最常见的就是基于主从复制的方案，其次是
转载
2023-11-22 15:01:34
161阅读
前言ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。ZooKeeper功能很强大，但是在分布式项目中也会存在单点失败问题，所以为了实现服务的高可用，ZooKeeper的集群也是必不可少的。集群架构为了保证高可用，最好是以集群形
转载
2024-02-14 22:25:44
168阅读
为了确保Redis的高可用性，我们需要考虑使用Zookeeper作为协调者来管理Redis主从架构的切换与故障转移。本文将详细探讨如何利用Zookeeper来实现Redis的高可用，结构包含问题背景、错误现象、根因分析、解决方案、验证测试和预防优化等。
在现代的分布式系统中，Redis作为一种高性能的内存数据库，广泛应用于缓存和实时数据处理。然而，当主节点出现故障时，如果没有合适的机制进行故障转
非高可用集群搭建可以参看我写的博客1 体系架构图 集群节点分配情况192.168.100.200 wangyl-0 Active NameNode 192.168.100.201 &
1.文档编写目的
之前Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》，这种方案也有一些弊端，如HAProxy本身就是单点，虽然可以通过Keepalived来实现HAProxy的高可用，但这样配置会比较麻烦并且需要多部署两个组件，增大了系统运维的复杂度。在大数据平台中Zookeeper是一个必不可少且自身具有高可用保证的组件，本文主要讲述如何使用Zookeep
转载
2021-08-03 15:15:06
1859阅读
1.基本公共搭建NAT网络；防火墙；ssh免密；主机名；主机IP映射；环境变量JAVA_HOME=/home/hadoop/app/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
HADOOP_HOME=/home/hadoop/app/
转载
2023-09-14 14:17:12
68阅读
注：先看hive编译文档，使用编译好的安装包进行部署 官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。 后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。 重新编译，参考本人写的另一篇文章 hive3.1.4源码编译 兼容spark3.0.0 hive on spark 升级guava版本兼容had
转载
2024-06-24 00:29:45
45阅读
高可靠和高可用的区别 Reliability和Availability分别对应可靠性和可用性, 这两个概念既有区别也有联系: Reliability定义为一个服务连续无故障运行的时间，无故障运行的时间越长，可靠性就越高。Availiability定义为在足够长的时间里，比如一年的时间里，一个服务可用的时间，服务可用时间越长越好。一般用可服务时间除于总时间算出一个百分比，用百分比作为度量
转载
2024-01-28 07:42:24
35阅读
server1-5五台配置好apache的hadoopnfs-utils rpcbind 将hadoops
原创
2022-11-19 10:19:38
195阅读
# Hive 高可用配置（不使用 Zookeeper）
在大数据处理领域，Hive 是一个用于数据仓库的工具，它可以在 Hadoop 之上提供一种 SQL 风格的查询语言。为了实现 Hive 的高可用性，通常建议使用 Zookeeper，但在某些场合下，我们可能会希望避免使用 Zookeeper。本文将带你一步步了解如何在不注册 Zookeeper 的情况下实现 Hive 的高可用配置。
##
原创
2024-10-18 08:31:45
84阅读
zookeeper集群上搭建clickhouse集群， 文章目录zookeeper集群上搭建clickhouse集群，傻瓜式教程一、zookeeper集群搭建Ⅰ.下载zkⅡ.安装zkⅢ.zk配置修改Ⅳ.zk集群启动二、clickhouse集群搭建Ⅰ.ck单机搭建Ⅱ.ck集群搭建1.集群配置2.clickhouse集群启动 环境：centos 7 一、zookeeper集群搭建Ⅰ.下载zkhttps
转载
2024-05-11 22:33:50
232阅读
高可用概念首先，我们来看一下 wiki 上对高可用（High Availability）的定义：High availability (HA) is a characteristic of a system which aims to ensure an agreed level of operational performance, usually uptime, for a higher tha
转载
2023-10-16 16:09:58
129阅读
什么是高可用性高可用性是相对的没有100%的高可用只有尽可能接近100%。可用性每提高一点，所花费的成本都会远超之前，可用性的效果和开销的比例并不是线性的。宕(dang)机的原因运行环境问题，最普遍的是磁盘空间耗尽。性能问题，最普遍的是运行糟糕的SQL，或服务器BUG或错误的行为。表和索引设计有问题。复制问题通常由于主备数据不一致导致。数据丢失通常由于DROP TABLE的误操作导致，并总是伴随着
转载
2023-09-03 08:12:30
193阅读
1.MySQL复制功能介绍 MySQL复制功能提供分担读负载。使用复制功能对数据库服务器进行水平扩展，MySQL的复制是异步的。复制解决了什么问题： 实现在不同服务器上的数据分布： 利用二进制日志增量进行 不需要太多
转载
2023-09-16 10:55:08
78阅读
高可用性（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。如何实现高可用？避免导致系统不可用的因素（服务器磁盘空间耗尽、性能糟糕的SQL、表结构和索引没有优化、主从数据不一致、人为的操作失误等等），减少系统不可用的时间；
建立完善的监控及报警系统；定时的对备份数据进行恢复测试；对不需要的数据进行
转载
2023-06-07 21:33:56
162阅读
给大家带来的一篇关于PHP开发相关的电子书资源，介绍了关于PHP、MySQL、应用开发方面的内容，本书是由机械工业出版社出版，格式为PDF，资源大小60.5 MB，杜江编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.8。内容介绍读者评价本来在看了目录之后满怀希望，结果看了之后...感觉像是赶时间赶出来的书，错误不少，不少内容还比较陈旧。而且很多内容和图片与《PHP+MySQL专家编程》(
转载
2023-10-29 16:46:40
7阅读
说明：mysql高可用集群方案设计
server1 mysqld服务器 172.16.23.11
server2 mysqld服务器 172.16.23.12
数据存放 nfs 服务器 &nb
转载
2023-07-31 19:51:35
108阅读
项目：项目设备：3台数据库服务器、1台管理主机、1台客户端项目需求： 实现MySQL高可用，确保在故障切换过程中最大程度保证数据的一致性。项目操作：1. 准备MHA集群环境：配置SSH免密登录、安装依赖包、配置MYSQL一主多从结构
2. 配置管理节点：安装软件包、编辑主配置文件、创建故障切换脚本、给主服务器配置vip地址
3. 配置数据节点：安装软件包、根据角色做相应配置 项目总结：MHA（Ma
转载
2023-08-21 13:52:49
145阅读
