MySQL数据库的二进制日志binlog记录了对数据库的全量DDL和DML操作，对数据库的point to point灾难恢复起着无法替代的关键作用。因此，基于此类考虑，需要对生产环境产生的binlog做好相应的备份措施。 这里主要谈及2种备份方法，一种通过脚本定时调度的方式，强行切换binlog，增量备
转载
2024-05-30 20:53:52
153阅读
这篇文章主要会介绍Redis的集群搭建、主从复制、哨兵模式、缓存击穿、缓存穿透、缓存雪崩等目录一、Redis集群搭建1、基本服务搭建2、从机连接主机二、Redis的主从复制1、什么是主从复制2、特点3、复制的两种规则三、哨兵模式四、什么是缓存击穿、缓存穿透、缓存雪崩及怎么避免和解决1、缓存击穿2、缓存穿透3、缓存雪崩总结一、Redis集群搭建
转载
2024-03-19 09:16:40
54阅读
mysql跨机房容灾备份方案的描述
在现代企业中，数据安全与高可用性至关重要。特别是在跨机房环境下，MySQL 数据库的容灾备份方案显得尤为重要。本文将为您详细介绍如何构建一套可靠的 MySQL 跨机房容灾备份方案，包括环境预检、部署架构、安装过程、依赖管理、服务验证、版本管理等内容。
## 环境预检
在开始之前，需要对系统进行预检，以确保我们的环境符合要求。以下是系统要求的表格：
| 项
标签：同步 mysql IDC 尝试1：Master→Relay →Slave一、特点：1. Slave和前端在一个IDC；2. DB集中写, cache本地写；3. 某一机房是核心。二、挑战：1.不适合写入量大的业务；2.Cache清理机制复杂；3.注意同步延时问题；4.Relay容灾。尝试2：MySQL federated engine一、特点1.利用FE实现多mast
转载
2023-11-23 14:41:19
96阅读
在实际工作中，我常常面临如何配置 Hadoop 实现跨机房的异地备份的问题。为了高效、可靠地进行备份，我整理了整个过程，从环境准备到配置详解、验证测试乃至优化技巧。以下是我的整理结果。
首先，我准备了环境要求，确保我们的硬件和软件匹配。以下是我们的【版本兼容性矩阵】：
| 组件 | 版本 | 备注
目录一、多机房部署的难点是什么1.直接跨机房读取从库：2.在机房B部署一个从库，跨机房同步主库的数据，然后机房B的应用就可以读取这个从库的数据 二、逐步迭代多机房部署方案1.同城双活2.异地多活一、多机房部署的难点是什么多机房部署的含义是： 在不同的IDC机房中部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量这种架构听起来非常美好，但是在实现上却是非常复杂和困难的假
转载
2023-12-21 11:19:00
159阅读
测试使用vitess的时候发现vitess元数据的实现有多种方案，etcd, etcd2, zk,zk2, 由于刚开始测试的时候使用的是基于k8s集群+etcd的，以下就分步说明灾备实现方案：1. 前置条件 元数据实现方式必须选择etcd2, 即在启动的时候需要增加参数 -topo_implementation etcd2 #元数据实现方案， 此处一定需要选择etcd
转载
2024-06-04 10:16:19
159阅读
近年来，作为灾备方案中高级别的双活数据中心解决方案逐渐成为了应对传统灾备难题的一把利剑，它能够解决传统的灾备方案中资源利用率低、可用性差、出现故障时停机时间长、数据恢复慢、风险高等问题，但同时也带来了很多难点问题。这其中，存储跨数据中心双活的方案更是双活数据中心架构方案中最重要且最艰难的一项，能否在方案架构选型和设计阶段，顺利地解决和尽量规避这些存储双活的难点问题，对企业IT架构师团队的能力有着极
转载
2024-01-11 12:37:06
65阅读
MySQL数据库操作详解创建数据库 create databases u1; 创建u1数据库create table uu1(id int(11)not null key,user varchar(23)not null,passwd varchar(23)not null); ##创建uu1表，限制输入id值为数值型，大小为11字节，且将其设置为主键。再创建user和passwd字段，输入类型不
多机房部署：跨地域的分布式系统如何做？多机房部署的难点是什么？逐步迭代多机房部署方案同城双活异地多活总结 多机房部署的难点是什么？多机房部署的含义是：在不同的 IDC 机房中，部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量。这样，当其中某一个机房出现网络故障、火灾，甚至整个城市发生地震、洪水等大的不可抗的灾难时，你可以随时将用户的流量切换到其它地域的机房中，从而保证系统可
转载
2023-11-09 11:42:54
85阅读
在分布式架构中，服务治理是一个重要的问题。在没有服务治理的分布式集群中，各个服务之间通过手工或者配置的方式进行服务关系管理，遇到服务关系变化或者增加服务的时候，人肉配置极其麻烦且容易出错。之前在一个C/C++项目中，采用ZooKeeper进行服务治理，可以很好的维护服务之间的关系，但是使用起来较为麻烦。现在越来越多新的项目采用consul进行服务治理，各方面的评价都优于ZooKeeper，经过几天
转载
2024-08-15 08:55:03
108阅读
一、简介MyCAT 支持跨库表 Join，目前版本仅支持跨库两表 Join。虽然如此，已经能够满足我们大部分的业务场景,毕竟join多表的话，性能也存在一些问题。目前主要方式有： catlet、shareJoin、全局表、ER分片四种方式，本文将主要介绍catlet、全局表以及ER分片方式进行跨库join。二、catlet跨库join【a】创建数据库和表create database catlet
转载
2023-09-25 10:34:24
99阅读
一、背景公司基于业务发展以及战略部署，需要实现在多个数据中心单元化部署，一方面可以实现多数据中心容灾，另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话，需要各个数据中心拥有一致的全量数据，如果真正实现用户就近读写，也就是实现真正的业务异地多活，数据同步是异地多活的基础，这就需要多数据中心间数据能够双向同步。二、原生redis遇到的问题1、不支持双主同步原生redis并没
转载
2024-02-10 21:30:09
96阅读
1.由多个Redis服务器组成的分布式网络服务集群；每一个Redis服务器称为节点Node，节点之间会互相通信。两两相连；Redis集群无中心节点。 当用户需要处理更多读请求的时候，添加从节点可以扩展系统的读性能，因为Redis集群重用了单机Redis复制特性的代码，所以集群的复制行为和我们之前介绍的单机复制特性的行为是完全一样的。 2.故障转移&nbs
转载
2023-08-11 19:34:43
217阅读
随着云计算十余年的高速发展，作为目前可见的最新阶段，多云正在快步大踏步前进。而多云趋势所带来得数据云间迁移，也逐步常态化。因此，缓存 Redis 已成为高并发场景下提升数据访问速度的标配。不仅是数据云间迁移，目前大型系统对于缓存强依赖，致使大多数企业都会面临大量并发读写数据时访问速度慢、数据库压力大，以及缓存数据不⾜带来的缓存击穿及雪崩⻛险。其中，Redis 就起到了降低数据库压力，提升数据访问速
转载
2023-08-11 16:17:54
266阅读
1、复制通过执行slaveof让一个服务器去复制另一个服务器。1.1、旧版复制功能的实现分为同步和命令传播两个操作：同步操作将从服务器数据库状态更新至主服务器当前所处的数据库状态；命令传播操作则用于在主服务器的状态被修改时导致主从服务器的状态出现不一致时，让主从服务器数据库重新回到一致状态。同步步骤从服务器向主服务器发送SYNC命令；收到SYNC命令的主服务器执行BGSAVE，在后台生成一个RDB
转载
2024-02-04 01:15:28
80阅读
Rotter 是禧云自主研发的跨机房Redis双向同步解决方案（下文简称为方案），具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前版本支持Sentinel模式和单点模式Redis架构。
作者杨海波 一、项目介绍Rotter是禧云自主研发的跨机房Redis双向同步解决方案（下文简称为方案），具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前
转载
2023-07-08 22:19:05
303阅读
关键词：Rotter，Redis，多活，跨机房，同步一、项目介绍Rotter 是禧云自主研发的跨机房Redis双向同步解决方案(下文简称为方案)，具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前版本支持Sentinel模式和单点模式Redis架构。从2019年Q2上线至今，服务于三个独立业务线，线上运行稳定，同步延时基本在50ms以内。1.1 系统架构整个Redis跨机房双向同步系统
转载
2023-07-07 15:59:15
978阅读
1评论
测试使用vitess的时候发现vitess元数据的实现有多种方案，etcd, etcd2, zk,zk2, 由于刚开始测试的时候使用的是基于k8s集群+etcd的，以下就分步说明灾备实现方案：1. 前置条件 元数据实现方式必须选择etcd2, 即在启动的时候需要增加参数 -topo_implementation etcd2 #元数据实现方案， 此处一定需要选择etcd2，
转载
2024-09-01 23:02:14
117阅读
本文以Redis-Cluster为例子，实际使用中Redis-Sentinel和Redis Standalone也是一样的。一、现有问题 由于Redis本身的一些特性(例如复制)以及使用场景，造成Redis不太适合部署在不同的机房，所以通常来看Redis集群都是在同一个机房部署的。虽然Redis集群自身已经具备了高可用的特性，即使几个Redis节点异常或者挂掉，Redis Cluster也会实现故
转载
2023-10-25 12:44:09
283阅读
