数据迁移与扩容实践： 工具目前从 mycat1.6，准备工作：1、mycat 所在环境安装 mysql 客户端程序。 2、mycat 的 lib 目录下添加 mysql 的 jdbc 驱动包。 3、对扩容缩容的表所有节点数据进行备份，以便迁移失败后的数据恢复。 步骤：1、复制 schema.xml、rule.xml 并重命名为 newSchema.xml、newRule
转载
2024-07-09 21:33:20
38阅读
MySQL不停机主从部署引言搭建数据库备份主库数据——XtraBackup工具安装制作全量备份从库恢复全量备份数据设置主从主库操作获取binlog和pos位置从库 引言在日常开发中，MySQL数据库的使用非常频繁。在MySQL的使用过程中，我们需要面对两个方面的问题：性能问题容灾问题性能问题指的是随着应用、并发量的增加，原本的一个数据库无法再承受更多的连接和访问，因此需要使用从库，以减轻主库的负
转载
2023-11-23 19:21:10
32阅读
持之以恒，贵在坚持，每天进步一点点！作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：https://github.com/sunshinelyz/mykit-delayPS: 欢迎各位Star源码，也可以pr
转载
2023-11-13 18:06:13
95阅读
主要简单总结下，mysql在线扩容和缩容一般涉及到的内容，主要包括三个方面，1.在线也就意味着需要把增量的数据重新分布到新的拓扑结构中,我们一般称做增量复制，2.原有的数据需要一条不漏的扫出来重新分布到新的拓扑结构中,这个一般叫做全量复制，3.全量做完，增量正在同步，把应用的数据路由拓扑切到新的路由拓扑上来，并且做到无数据丢失，这个我们叫做停写切换。做好这三个方面的工作，能够达到的效果就是应用在最
转载
2024-04-11 21:00:33
26阅读
导读：前不久，滴滴ES团队将维护的30多个ES集群，3500多个ES节点，8PB的数据，从2.3.3跨大版本无缝升级到6.6.1。在对用户查询写入基本零影响和改动的前提下，解决了ES跨大版本协议不兼容、文件格式不兼容、mapping不兼容等难题，整个过程对绝大部分用户完全透明。同时还完成了Arius的架构升级，取得了单机查询性能提升40%，整体集群cpu下降10%，写入tps提升30%，集群资源使
Intel的系统变成手册中第十章介绍了IA32架构下的内存缓存控制。因为CPU速度和内存速度的巨大差距，CPU厂商通过在CPU中内置和外置多级缓存提高频繁使用数据的访问速度。一般来说，在CPU和内存之间存在L1, L2和L3三级缓存(还有几种TLB缓存在此不涉及)，每级缓存的速度有一个数量级左右的差别，容量也有较大差别(实际上跟
SDSSDS本质上就是char *，但是因为有了表头sdshdr结构的存在，所以SDS比传统C字符串在某些方面更加优秀。一般传统C字符串是有结束符的，遇到’\0‘则认为已经到达末尾，忽略结尾以后的所有字符。**SDS表头的buf被定义为字节数组，判断是否到达字符串结尾的依据是表头的len成员。**因此获取字符串长度时间复杂度为O(1)。总结下sds的特点是：可动态扩展内存、二进制安全、快速遍历字符
转载
2023-12-24 16:28:52
24阅读
目录一、简介二、升级操作2.1 es配置2.2 logstash设置2.3 守护进程配置2.4 查看结果一、简介单机伪集群是什么概念呢，就是同一台服务器有多个es节点先介绍一下，原先的环境为在一台服务器192.168.0.15上安装了es、kibana、logstash，通过守护进程来启动服务，单机单节点。现在升级为单机多节点。 二、升级操作查看服务进程supervi
转载
2024-02-29 18:22:48
270阅读
目录：一、正常情况下发服务演化之路1.单体应用2.RPC应用3.分库分表二、单元化三、最后的总结刚开始工作的菜鸟，总会有各种疑问，刚开始是对 JDK API 的疑问，对 NIO 的疑问，对 JVM 的疑问。当工作几年后，对服务的可用性，可扩展性也有了新的疑问，什么疑问呢？其实是老生常谈的话题：服务的扩容问题。正常情况下的服务演化之路让我们从最初开始。1、单体应用 每个创业公司基本都是从类似 SSM
转载
2024-05-31 05:52:16
9阅读
需求说明类似订单表，用户表这种未来规模上亿甚至上十亿百亿的海量数据表，在项目初期为了快速上线，一般只是单表设计，不需要考虑分库分表。随着业务的发展，单表容量超过千万甚至达到亿级别以上，这时候就需要考虑分库分表这个问题了，而不停机分库分表迁移，这应该是分库分表最基本的需求，毕竟互联网项目不可能挂个广告牌"今晚10:00~次日10:00系统停机维护"，这得多low呀，以后跳槽面试，你跟面试官说这个迁移
转载
2024-07-10 08:54:03
40阅读
Redis持久化与集群这一篇是之前就想写的，但是考虑到学习一样东西有一样好的方式是对比，就先写的MySQL的复制，备份与恢复与Redis的持久化，集群有许多相同之处（我私以为最大的区别是Redis是存储在内存，MySQL是在磁盘，其他的思想其实差不多）1.什么是Redis持久化1.1 Redis持久化定义将Redis的数据从内存存储到磁盘（可以存储到MySQL数据库，或直接存储为Redis能够识别
转载
2024-09-27 06:35:29
94阅读
实际上，不停机扩容，实操起来是个非常麻烦而且很有风险的操作一、第一阶段：在线双写，查询走老库1. 建立好新的库表结构，数据写入久库的同时，也写入拆分的新库
2. 数据迁移，使用数据迁移程序，将旧库中的历史数据迁移到新库
3. 使用定时任务，新旧库的数据对比，把差异补齐二、在线双写，查询走新库1. 完成了历史数据的同步和校验
2. 把对数据的读切换到新库
三、第三阶段：旧库下线旧库不再写入新的数据经
原创
2023-10-30 09:09:53
613阅读
# MySQL 不停机升级实现方法
## 一、流程概述
在实现 MySQL 不停机升级时，我们可以采用主从复制的方式，通过搭建主从复制关系，在升级主库时，可以保证从库对外提供服务，从而实现不停机升级。
下面是实现 MySQL 不停机升级的具体步骤：
| 步骤 | 操作 |
| ------------- |:-------------:|
| 步骤一
原创
2024-03-08 05:17:44
397阅读
ext4不停机在线扩容 1、修改虚拟机磁盘容量大小 2、重新识别磁盘容量大小# ls /sys/class/scsi_disk/
# echo 1 > /sys/class/scsi_disk/2\:0\:1\:0/device/rescan
# fdisk -l 3、调整目标分区大小# fdisk /dev/sdb
d
n
p
1
原创
2019-10-11 15:01:33
3197阅读
mysql数据库的无缝迁移问题？ 问：在平时的开始过程中，由于经常“需求理解，架构设计，需求变更”等多种原因，导致系统运行一段时间后，数据库的表结构需要变更，如何实现尽量短的停机，实现无缝的迁移？ 我开玩笑说，最好的解决办法就是不迁移。不迁移肯定最好，这要依赖于非常好的设计，在前期架构设计的时候能够考虑到需求可能的变更，数
转载
2023-08-31 06:39:44
234阅读
# MySQL 不停机备份 Binlog 的完整流程
在数据库管理中，备份数据是一个至关重要的任务。特别是在使用 MySQL 的应用中，不停机地备份二进制日志（Binlog）可以确保我们在系统发生故障时能够快速恢复。本文将详细介绍如何实现 MySQL 不停机备份 Binlog 的流程，包括步骤、代码示例以及相关的配置。
## 流程概述
以下表格展示了实现 MySQL 不停机备份 Binlog
### 不停机开启MySQL binlog的流程
本文将介绍如何在不停机的情况下开启MySQL的binlog，并提供了详细的步骤和相应的代码示例。让我们一起来看看吧！
#### 步骤概览
下面是实现不停机开启MySQL binlog的步骤概览表格：
| 步骤 | 动作 |
| --- | --- |
| 1 | 编辑MySQL配置文件 |
| 2 | 重启MySQL服务 |
| 3 | 进
原创
2023-10-21 09:36:09
152阅读
概述 备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。而对于一些网站、系统来说，数据库就是一切，所以做好数据库的备份是至关重要的！备份是什么？为什么要备份容灾方案建设存储介质光盘 磁带 硬盘 磁盘阵列 DAS：直接附加存储 NAS：网络附加存储
# MySQL不停机迁移到Elasticsearch
在现代数据处理场景中，Elasticsearch（ES）因其强大的搜索和分析能力受到广泛关注。我们时常需要将数据从传统的MySQL数据库迁移到Elasticsearch中，以利用其高效的查询能力。但如何实现此种迁移而不影响系统的正常运行呢？本文将探讨一种零停机迁移的方法，并提供代码示例。
## 什么是不停机迁移？
不停机迁移是指在迁移数据
MySQL集群架构 一、集群架构设计1、架构设计理念在集群架构设计时，主要遵从下面三个维度：可用性 扩展性 一致性 2、可用性设计站点高可用，冗余站点 服务高可用，冗余服务 数据高可用，冗余数据 保证高可用的方法是冗余。但是数据冗余带来的问题是数据一致性问题。 实现高可用的方案有以下几种架构模式：主从模式 简单灵活，能满足多种需求。比较主流的用法，但是写操作高可用需要自行处理。 双主模式 互为主从
转载
2024-10-10 13:50:47
70阅读
