测试使用vitess的时候发现vitess元数据的实现有多种方案，etcd, etcd2, zk,zk2, 由于刚开始测试的时候使用的是基于k8s集群+etcd的，以下就分步说明灾备实现方案：1. 前置条件 元数据实现方式必须选择etcd2, 即在启动的时候需要增加参数 -topo_implementation etcd2 #元数据实现方案， 此处一定需要选择etcd2，
转载
2024-09-01 23:02:14
119阅读
在日常的开发中经常进行跨数据库进行查询数据。同服务器下跨数据库进行查询在表前加上数据库名就可以查询到数据。mysql跨服务器进行查询提供了FEDERATED引擎进行映射表，然后进行查询。mysql数据库federated引擎是关闭的，首先需要先启用该引擎。mysql执行show engines命令查看引擎状态。show engines;FEDERATED引擎是未启用的。启用FEDERATED引擎W
转载
2023-07-14 18:20:18
53阅读
跨机房lvs+haproxy防CC***
转载于:https://blog.51cto.com/nettudou/768019
转载
2023-07-20 10:16:40
129阅读
标签：同步 mysql IDC 尝试1：Master→Relay →Slave一、特点：1. Slave和前端在一个IDC；2. DB集中写, cache本地写；3. 某一机房是核心。二、挑战：1.不适合写入量大的业务；2.Cache清理机制复杂；3.注意同步延时问题；4.Relay容灾。尝试2：MySQL federated engine一、特点1.利用FE实现多mast
转载
2023-11-23 14:41:19
96阅读
目录一、多机房部署的难点是什么1.直接跨机房读取从库：2.在机房B部署一个从库，跨机房同步主库的数据，然后机房B的应用就可以读取这个从库的数据 二、逐步迭代多机房部署方案1.同城双活2.异地多活一、多机房部署的难点是什么多机房部署的含义是： 在不同的IDC机房中部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量这种架构听起来非常美好，但是在实现上却是非常复杂和困难的假
转载
2023-12-21 11:19:00
159阅读
测试使用vitess的时候发现vitess元数据的实现有多种方案，etcd, etcd2, zk,zk2, 由于刚开始测试的时候使用的是基于k8s集群+etcd的，以下就分步说明灾备实现方案：1. 前置条件 元数据实现方式必须选择etcd2, 即在启动的时候需要增加参数 -topo_implementation etcd2 #元数据实现方案， 此处一定需要选择etcd
转载
2024-06-04 10:16:19
159阅读
近年来，作为灾备方案中高级别的双活数据中心解决方案逐渐成为了应对传统灾备难题的一把利剑，它能够解决传统的灾备方案中资源利用率低、可用性差、出现故障时停机时间长、数据恢复慢、风险高等问题，但同时也带来了很多难点问题。这其中，存储跨数据中心双活的方案更是双活数据中心架构方案中最重要且最艰难的一项，能否在方案架构选型和设计阶段，顺利地解决和尽量规避这些存储双活的难点问题，对企业IT架构师团队的能力有着极
转载
2024-01-11 12:37:06
65阅读
MySQL数据库操作详解创建数据库 create databases u1; 创建u1数据库create table uu1(id int(11)not null key,user varchar(23)not null,passwd varchar(23)not null); ##创建uu1表，限制输入id值为数值型，大小为11字节，且将其设置为主键。再创建user和passwd字段，输入类型不
多机房部署：跨地域的分布式系统如何做？多机房部署的难点是什么？逐步迭代多机房部署方案同城双活异地多活总结 多机房部署的难点是什么？多机房部署的含义是：在不同的 IDC 机房中，部署多套服务，这些服务共享同一份业务数据，并且都可以承接来自用户的流量。这样，当其中某一个机房出现网络故障、火灾，甚至整个城市发生地震、洪水等大的不可抗的灾难时，你可以随时将用户的流量切换到其它地域的机房中，从而保证系统可
转载
2023-11-09 11:42:54
85阅读
在分布式架构中，服务治理是一个重要的问题。在没有服务治理的分布式集群中，各个服务之间通过手工或者配置的方式进行服务关系管理，遇到服务关系变化或者增加服务的时候，人肉配置极其麻烦且容易出错。之前在一个C/C++项目中，采用ZooKeeper进行服务治理，可以很好的维护服务之间的关系，但是使用起来较为麻烦。现在越来越多新的项目采用consul进行服务治理，各方面的评价都优于ZooKeeper，经过几天
转载
2024-08-15 08:55:03
108阅读
一、consul服务架构和核心概念在官方提供的图中SERVER是consul服务端高可用集群，CLIENT是consul客户端。图中存在两个数据中心：DATACENTER1、DATACENTER2。每个数据中心有3-5台server（该数量使得在故障转移和性能之间达到平衡）。Consul利用两个不同的gossip pool。我们分别把他们称为局域网池(LAN Gossip Pool)或广域网池(W
一、简介MyCAT 支持跨库表 Join，目前版本仅支持跨库两表 Join。虽然如此，已经能够满足我们大部分的业务场景,毕竟join多表的话，性能也存在一些问题。目前主要方式有： catlet、shareJoin、全局表、ER分片四种方式，本文将主要介绍catlet、全局表以及ER分片方式进行跨库join。二、catlet跨库join【a】创建数据库和表create database catlet
转载
2023-09-25 10:34:24
99阅读
随着云计算十余年的高速发展，作为目前可见的最新阶段，多云正在快步大踏步前进。而多云趋势所带来得数据云间迁移，也逐步常态化。因此，缓存 Redis 已成为高并发场景下提升数据访问速度的标配。不仅是数据云间迁移，目前大型系统对于缓存强依赖，致使大多数企业都会面临大量并发读写数据时访问速度慢、数据库压力大，以及缓存数据不⾜带来的缓存击穿及雪崩⻛险。其中，Redis 就起到了降低数据库压力，提升数据访问速
转载
2023-08-11 16:17:54
266阅读
1、复制通过执行slaveof让一个服务器去复制另一个服务器。1.1、旧版复制功能的实现分为同步和命令传播两个操作：同步操作将从服务器数据库状态更新至主服务器当前所处的数据库状态；命令传播操作则用于在主服务器的状态被修改时导致主从服务器的状态出现不一致时，让主从服务器数据库重新回到一致状态。同步步骤从服务器向主服务器发送SYNC命令；收到SYNC命令的主服务器执行BGSAVE，在后台生成一个RDB
转载
2024-02-04 01:15:28
80阅读
1.由多个Redis服务器组成的分布式网络服务集群；每一个Redis服务器称为节点Node，节点之间会互相通信。两两相连；Redis集群无中心节点。 当用户需要处理更多读请求的时候，添加从节点可以扩展系统的读性能，因为Redis集群重用了单机Redis复制特性的代码，所以集群的复制行为和我们之前介绍的单机复制特性的行为是完全一样的。 2.故障转移&nbs
转载
2023-08-11 19:34:43
217阅读
Rotter 是禧云自主研发的跨机房Redis双向同步解决方案（下文简称为方案），具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前版本支持Sentinel模式和单点模式Redis架构。
作者杨海波 一、项目介绍Rotter是禧云自主研发的跨机房Redis双向同步解决方案（下文简称为方案），具有零侵入、高吞吐量、低延时、高堆积能力等特点。当前
转载
2023-07-08 22:19:05
303阅读
一、背景公司基于业务发展以及战略部署，需要实现在多个数据中心单元化部署，一方面可以实现多数据中心容灾，另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话，需要各个数据中心拥有一致的全量数据，如果真正实现用户就近读写，也就是实现真正的业务异地多活，数据同步是异地多活的基础，这就需要多数据中心间数据能够双向同步。二、原生redis遇到的问题1、不支持双主同步原生redis并没
转载
2024-02-10 21:30:09
96阅读
文章说明需要注意的地方会用黄色高光标注文章中用到的一些知识，我会选择性提供文章链接，可考率是否阅读。（一）初步了解搭建步骤准备工作1.虚拟机准备准备好三台安装好jdk和hadoop的虚拟机 方法：可以克隆1台干净的虚拟机，做完所有jdk、hadoop配置后，将处理好的虚拟机克隆为集群，别忘了修改集群机器的IP和主机名如何更改用户名和主机名入口 我这里用的是3台机器，分别为Cloud10、Cloud
转载
2024-01-02 20:33:40
128阅读
代码的世界只是现实世界的一个延伸，总是充斥着各种各样的bug，这两天，就发生了一个串号的事故，搞得焦头烂额。程序员，特别是架构师，在设计系统的时候，系统的可用性非常的重要，也就是说，容灾，是必须的！ Redis，作为一个常用的缓存，很多人忽略了系统的容灾，试想，如果有一天晚上，突然部署Redis的机器烧坏了，总不能半夜三更把运维人员叫起来，然后重新部署一台机器，开始修改各个机器的Red
转载
2023-07-05 23:52:20
141阅读
docker swarm redis集群机器配置创建目录创建网络编写compose.yml模版文件启动服务测试验证集群集群测试验证异常no suitable node (scheduling constraints not satisfied on 3 nodes)"4.11.2.Error response from daemon: rpc error: code = Unknown desc
转载
2023-06-15 14:04:35
362阅读
