二、迁移类测试策略1、概述随着业务需求或数据量增长到一定程度，往往需要进行数据库切换，这里就伴随这数据迁移。关键字： 全量数据迁移，增量数据迁移，分库分表，数据双写，oracle、mysql、hbase…，新老数据兼容，数据订正2、发布方案(迁移方案)两大类：正常发布、停机发布正常发布：可以实现线上业务无缝切换，不影响用户使用，需要保证新老数据兼容，发布过程中的数据写入等。停机发布 : 优点在于可
转载
2024-04-15 20:09:11
53阅读
文章目录读写分离读写分离引入时机主从同步延迟读写分离落地读写分离配置双主模式适用场景MMM架构MHA架构主备切换配置双主模式MHA搭建服务器环境搭建三台机器ssh互通MHA下载安装MHA下载MHA node安装MHA manager安装MHA 配置文件MHA 配置检测MHA Manager启动测试MHA故障转移 读写分离读写分离引入时机 大多数互联网业务中，往往读多写少，这时候数据库的读会首先
转载
2023-10-05 17:52:20
75阅读
一 前言首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议本文由以下三个部分组成 1、讲解缓存更新策略 2、对每种策略进行缺点分析 3、针对缺点给出改进方案二 一致性方案先做一个说明，从理论上来说，给缓存
转载
2023-08-30 12:08:43
210阅读
缓存由于其高并发和高性能的特性，已经在项目中被广泛使用，在缓存的使用中，通常会面临一个更新的问题，当数据源产生变化，如何去更新到数据库与缓存之中，并且尽量保证安全与性能。更新缓存的的Design Pattern有四种：Cache aside, Read through, Write through, Write behind caching，我们下面一一来看一下这四种Pattern。一:Cache
转载
2023-09-23 15:24:09
144阅读
先更新数据库还是redis？针对双写一致性问题，首先要讨论下是先更新数据库还是redis？mysql具有良好的事务支持，redis也是支持事务的，可以通过MUTI指令开启事务，WATCH监控关注的key是否被修改，EXEC执行事务，但是redis没有事务回退，也就会导致一个问题：如果先写redis写入失败了，或者中间有问题要回退怎么办？因此要保证一致性，就得先写入数据库，这样如果写入失败也可以执行
转载
2024-02-15 17:21:05
38阅读
# MySQL 磁盘双写方案
在现代应用程序中，确保数据的可靠性和丢失防护至关重要。磁盘双写方案是一种流行的实现方式，它主要目的是确保数据在多个存储介质中得到备份，以提高系统的可靠性。本文将指导你实现一个MySQL磁盘双写方案。
## 流程概览
以下是实现MySQL磁盘双写方案的主要步骤：
| 步骤 | 描述 |
|-------|----------
原创
2024-10-22 04:58:08
64阅读
# MySQL与Elasticsearch双写方案详解
在现代应用中，常常需要高效地存储和检索数据。MySQL是一种关系型数据库，适合进行复杂查询和事务处理；而Elasticsearch则是一个分布式的搜索引擎，适合实时数据分析和全文搜索。由于它们各自的优势，越来越多的系统采用了“MYSQL与Elasticsearch双写方案”来提高数据的访问效率和灵活性。
## 双写方案的概念
双写方案的
原创
2024-10-09 05:22:18
165阅读
专业的SQL Server、MySQL数据库同步软件大体计划1.双写矫捷长处:简略.错误谬误:a.停业代码耦合严重.b.如何保证双写成功c.同步双写会增加响应时候2.情况行列步队长处:简略错误谬误:a.停业代码耦合b.必要保证写入MQ胜利c.必要保障MQ集群的稳定性d.必要考虑异步形成的不合性问题(消费无序和消费时序)会有问题，坑1:消费情况无序。比方两个操作。第二个条件更新，第一个是新增。第二个
作者：京东零售 石磊TiDB 作为开源 NewSQL 数据库的典型代表之一，同样支持 SQL，支持事务 ACID 特性。在通讯协议上，TiDB 选择与 MySQL 完全兼容，并尽可能兼容 MySQL 的语法。因此，基于 MySQL 数据库开发的系统，大多数可以平滑迁移至 TiDB，而几乎不用修改代码。对用户来说，迁移成本极低，过渡自然。然而，仍有一些 MySQL 的特性和行为，TiDB 目前暂时不
转载
2024-08-16 13:36:08
69阅读
一：为啥会有两次写？必要了解partial page write 问题 : InnoDB 的Page Size一般是16KB，其数据校验也是针对这16KB来计算的，将数据写入到磁盘是以Page为单位进行操作的。而计算机硬件和操作系统，写文件是以4KB作为单位的,那么每写一个innodb的page到磁盘上，在os级别上需要写4个块.通过以下命令可以查看文件系统的块大小.dumpe2fs /
转载
2023-05-20 12:41:21
261阅读
前言首先我们需要知道现在的访问90%甚至更多为读请求，剩余部分才是写请求，并且随着目前网络的发展，使得数据库逐渐无法承受住用户的请求，所以现在的企业都会在数据库访问前引入一层或者多层缓存用来处理读请求（通常使用Redis）。虽然缓存即为有效的提高了读多写少的场景的效率，但是遇到写请求的时候，就需要考虑一个问题，缓存和数据库的数据两个问题的双写一致性问题。双写一致性问题首先针对于数据库只存在写操作，
作者：京东零售 石磊TiDB 作为开源 NewSQL 数据库的典型代表之一，同样支持 SQL，支持事务 ACID 特性。在通讯协议上，TiDB 选择与 MySQL 完全兼容，并尽可能兼容 MySQL 的语法。因此，基于 MySQL 数据库开发的系统，大多数可以平滑迁移至 TiDB，而几乎不用修改代码。对用户来说，迁移成本极低，过渡自然。然而，仍有一些 MySQL 的特性和行为，TiDB 目前暂时
转载
2024-02-12 16:44:05
53阅读
一、设计目标写入库双活：主从热备模式，程序只向一个写入库写入数据，主库W1死了后备库W2顶上，确保业务正常可用，运维修复W1之后重新加入集群，当后备库。读写分离：由于项目业务逻辑复杂，需求调研混乱，程序毫无设计导致SQL性能奇差，为了防止select把cpu拉到100%导致写入失败，必须读写分离，目前设计为3台用于搜索的读取库(R1、R2、R3)，采用简单轮询的负载均衡机制。二、设计思路1、写入库
转载
2023-08-25 16:42:54
115阅读
解决思路：先删除缓存，再修改数据库。如果数据库修改失败了，那么数据库中是旧数据，缓存中是空的，那么数据不会不一致。因为读的时候缓存没有，则读数据库中旧数据，然后更新到缓存中。比较复杂的数据不一致问题分析数据发生了变更，先删除了缓存，然后要去修改数据库，此时还没修改。一个请求过来，去读缓存，发现缓存空了，去查询数据库，查到了修改前的旧数据，放到了缓存中。随后数据变更的程序完成了数据库的修改。完了，数
转载
2024-06-18 07:41:04
70阅读
一 序 本文属于《MYSQL运维内参》第九章读书笔记，因为INNODB的三大特性：插入缓存，两次写，自适应hash，还是觉得作者先介绍插入缓存会更有助于理解。 为啥会有两次写？必要了解partial page write 问题 : InnoDB 的Pag
转载
2023-08-10 06:28:22
88阅读
主从复制:数据库接收到请求后, 由主节点的内置客户端执行sql语句,包括"增删改查”,其中"查”是读操作,不涉及主从复制.在主节点中有一个二进制日志文件bin.log, 当用户执行写操作(增删改)的sql语句时, 这些语句会被记录到二进制文件bin.log中, 这个二进制文件携带一个指针标识position,默认是120，当二进制日志文件的内容发送改变后，指针标识position也会改变。从节点中
转载
2023-10-10 10:04:32
52阅读
在学习MySQL双写特性的时候一直有个问题萦绕在我的心头：我们都知道MySQL在进行脏页刷新的时候会先将【内存中的doublewrite buffer】中的数据刷新到【磁盘中共享表空间的doublewrite buffer】中，然后再将脏页数据刷新到【磁盘数据文件.idb】中。当系统发生故障后MySQL可以利用undo log和来完成故障恢复工作。那么如果当系统在刷新脏页数据到【磁盘中共享表空间的
转载
2023-08-29 17:00:35
75阅读
# Redis 双写迁移方案详解
在现代应用中，缓存和数据存储的平衡至关重要。Redis 是一种流行的内存数据存储，而在进行数据迁移时，双写策略诞生。本文将引导你实现 Redis 的双写迁移方案。
## 流程概述
为实现 Redis 双写迁移方案，我们将遵循以下步骤：
| 步骤 | 内容 |
|------|---
一条命令搞垮MongoDB实例背景Part1:写在最前在副本集架构中，我们会经常通过rs.add(),rs.remove()命令来调整后台数据库架构，在本案例中，我们异常的触发到了一个MongoDB的BUG，并尽快的找到了官方的人进行咨询。在生产环境中，我们做实例迁移，将研发自行维护的MongoDB副本集迁移至DBA管理，由于硬件和版本都不符合规范，因此我们对集群先进行了升级处理，又使用了rs.a
参考文章：基于Redo Log和Undo Log的MySQL崩溃恢复流程MySQL的Double Write并不难理解 答疑文章（一）：日志和索引相关问题《MySQL技术内幕：InnoDB存储引擎》作用double write（两次写）使数据页更可靠。当InnoDB存储引擎正在向磁盘写入数据页时（16KB的数据页只写入了前4KB），这时发生宕机，这种情况称为部分写失效（partial p
转载
2023-09-06 20:19:59
309阅读
