需求：用户的调用时同步阻塞的，即收到了请求2的返回才会请求3 服务器部署了两个一样的app，app需将用户多次调用产生的对话log写入到pg库，对话一次产生一轮，但同一个session只写入一行，所以采用覆盖，同时由于用户的返回与log入库无关，所以采用子线程异步入库。同时考虑到频繁插入会耗时很大，设置了1s批量插入一次。实现：如下
转载
2024-02-29 07:31:55
87阅读
最近在补Mysql基础时，发现很多判断查询语句是否优化时都通过回表查询等术语作为指标，看的很懵逼，就开始查找相关的文献，这时发现了一篇很通俗易懂的文章zhangdeTalk的博客 《MySQL 的覆盖索引与回表》一、回表查询因为InnoDB具有聚簇索引(主键索引)和二级索引(普通索引)，且两种索引叶子节点存放的内容不一样，前者存储了所有的行数据，而后者仅仅存储主键的数据。MyISAM的索引叶子节点
转载
2023-09-22 10:58:45
118阅读
MySQL数据库备份和恢复
目录
MySQL数据库备份和恢复备份恢复概述为什么要备份备份注意要点还原要点备份类型：备份时需要考虑的因素备份什么备份工具冷备份 cp tarmysqldump备份工具模拟数据库崩溃，最大限度还原数据mysqldump的分库备份mysqldump的MyISAM存储引擎相关的备份选项：mysqldump的InnoDB存储引擎相关的备份选项：生产
转载
2023-08-08 14:29:25
408阅读
生产上偶尔会出现这样的问题： 这个业务流程中最后时间执行的代码，而且明明日志打印执行成功了，但是为什么数据库值不对。(更新时间有时候因为各种原因，比如，客户端根据更新时间做了缓存，非关键字段信息更新不会更新更新时间、历史代码遗留很多地方更新个别底字段不做更新更新时间操作、其他原因等都没有更新更新时间，无法根据日志时间，更新时间判断问题)经过查找：最后发现跑批中有批处理逻辑，一次获取List，然后
转载
2023-08-05 15:20:26
153阅读
继续上一篇文章，继续SQLServer索引调优实践。这次探讨一下索引覆盖 - SQL Server主要使用索引去查询你需要的数据，当索引包括所有的你请求查询的字段，SQL Server将不需要去在表中查询。这个概念称做“索引覆盖”。SQLServer2005的Non-clustered INDEX增加了一个“包含列(included column) ”选项。在 SQL Server 2005 中，
默认隔离级别READ COMMITTED(读提交数据)：允许事务读已提交的数据，但不要求“可重复读”，默认隔离级别并不保证不发现写覆盖。 写覆盖问题两个事务T1和T2读入同一数据并修改，T2提交的结果破坏了T1提交的结果，导致T1的修改被丢失如：银行系统中的一个活动序列:甲事务读出acct_id为‘A1234’的余额(balance) A,设A=16.乙事务读出acct_id为‘A123
转载
2024-09-25 16:41:01
33阅读
# 如何在 MySQL 中实现导入并覆盖数据库
## 引言
在数据库管理中，导入数据的需求是非常常见的，尤其是当你需要将更新的数据覆盖到现有数据库中时。本文将为刚入行的小白提供一份详细的指南，帮助你实现 MySQL 导入覆盖数据库的操作。
## 流程概述
以下是导入并覆盖 MySQL 数据库的基本流程：
| 步骤 | 描述
原创
2024-10-20 07:31:31
79阅读
# MySQL数据库覆盖表：概念与示例
在数据库管理中，覆盖表（Covering Index）是一种优化访问性能的重要技术。覆盖表通过使查询可以直接从索引中获取所需数据，而不必访问表的行，从而提高查询效率。本文将通过代码示例、甘特图以及关系图来帮助理解覆盖表的概念及其应用。
## 什么是覆盖表？
覆盖表首先是指具有特定属性的索引，使得查询所需的所有列都只在索引中存在，从而避免了对表的实际数据
为了更好地理解覆盖索引，在正式介绍覆盖索引之前，首先稍微来谈一谈有关索引的一些基础知识。数据页和索引页 在SQLServer中，数据存储的基本单位是页，一页的大小为8KB，分别由页首，数据行和行偏移量组成，如下图结构： 页首固定占用96个字节，用来存储相关的页面系统信息，例如所属的数据库表对象Id等。数据行是真实数据的存储区域，每一行的大小是不固定的。行偏移量是一个数组，数组的每个位置占2
转载
2023-12-03 08:25:35
60阅读
今天做SQL 优化，查找执行计划时，执行计划，发现此执行计划与以往的计划有所区别；找录互联网，终于找一篇有关研究比较深入的文章； 原执行计划使用的是索引扫描，突然一下会使用索引覆盖技术，效率大增； SELECT * 的真相：索引覆盖(index coverage) SELECT *的效率很糟糕吗？当然，所有人都知道这一点，但是为什么呢？ 是因为返回了太多的数据？ 这是一个普遍的回答，但我不这样认为
转载
2024-03-18 09:46:03
22阅读
# MySQL生产数据库覆盖测试数据库的步骤指南
在软件开发过程中，测试数据库是至关重要的一部分。为了确保我们的测试可以模拟生产环境，很多时候我们需要将生产数据库的内容覆盖到测试数据库。本篇文章将向你详细介绍这个过程的具体步骤。
## 流程概览
我们可以通过以下几个步骤完成生产数据库覆盖测试数据库的操作：
| 步骤 | 描述 |
|------|------|
| 1 | 连接到生产
方法一
1、备份数据库(X:\oracle\oradata)下的数据文件，重新命名即可(否则装数据库的时候会提示SID已存在)。重新安装数据库，当然数据库的名字就是你要恢复的名字。安装完成后，打开Services.msc，停止oracle的服务2个。
2、把(X:\oracle\oradata)下新出现的文件改名，把原先目录下的文件恢复本来面目，再重新启动oracle服务和监听。
背景在CentOS7系统中，默认安装有MariaDB（MySQL的分支），但有时候，我们还是要在系统中安装自己的MySQL（现在也可以通过docker安装mysql），安装完成之后，会直接覆盖掉MariaDB。安装步骤1. 下载MySQL官方的Yum Repository（Mysql5.7）wget -i -c http://dev.mysql.com/get/mysql57-community-
转载
2023-09-27 12:17:23
69阅读
# 项目方案：MySQL数据库数据覆盖恢复
## 背景
在日常的数据库操作中，由于各种原因，可能会发生数据覆盖的情况。当数据库中的数据被覆盖后，需要有一套恢复方案来保证数据的完整性和可用性。
## 目标
本项目的目标是设计一套方案，能够在数据覆盖情况下，快速恢复数据库中的数据，保证数据的完整性和可用性。
## 方案
### 1. 数据库备份
首先，为了能够在数据覆盖后恢复数据，需要定期对数
原创
2023-10-27 15:00:12
475阅读
数据备份与还原意义1、提高系统的可用性和灾难可恢复性，在数据库系统崩溃的时候，没有数据库备份就没法找到数据。 2、使用数据库备份还原数据库是数据库系统崩溃时提供数据恢复最小代价的最优方案，如果让客户重新填报数据，代价那就太大了。 3、没有数据就没有一切，数据库备份就是一种防范灾难于未然的强力手段，没有了数据，应用再花哨也是镜中花水中月。 整库备份与还原整库数据备
转载
2024-08-22 09:06:16
81阅读
利用Mysql函数和过程，制作一个数据量能到千万级的数据表；并在此表上验证覆盖索引对查询效率的影响。
昨天跟同事聊起数据表性能的问题，能不能仅用覆盖索引实现数据的汇总统计。找了一个开发环境已有的数据表进行测试，通过explain命令，能看到mysql通过覆盖索引就能实现sum的需求，而无须去读取实际行数据。但开发环境数据量太小，对执行时间的优化，没有直观
转载
2023-08-27 11:13:29
499阅读
起因：公司数据库改造，需要将原有多个数据库恢复到新的服务器上，DBA同事提供给我的其他来源数据库备份均为全备。但是要求并不是全库恢复至新服务器。mysql版本：5.6.43-log----------------处理过程：在这个前提下尝试了三种方法恢复：注意：在导入前禁用外键，防止导入过程中外键校验导致建表失败，导入完成后开启外键： set foreign_key_checks=0;
转载
2023-08-25 19:37:30
198阅读
摘要：本文主要分享在大数据场景数据覆盖式导入数据库的方法。作者：along_2020 。前言众所周知，数据库中INSERT INTO语法是append方式的插入，而最近在处理一些客户数据导入场景时，经常遇到需要覆盖式导入的情况，常见的覆盖式导入主要有下面两种：1、部分覆盖：新老数据根据关键列值匹配，能匹配上则使用新数据覆盖，匹配不上则直接插入。2、完全覆盖：直接删除所有老数据，插入新数据。本文主要
非归档模式下数据库的恢复:非归档模式下数据库的恢复主要指利用非归档模式下的冷备份恢复数据库。步骤为：关闭数据库。SHUTDOWN IMMEDIATE将备份的所有数据文件、控制文件、联机重做日志文件还原到原来所在的位置。重新启动数据库。STARTUP注意非归档模式下的数据库恢复是不完全恢复，只能将数据库恢复到最近一次完全冷备份的状态。归档模式下数据库的完全恢复：归档模式下数据库的完全恢复是
转载
2024-09-10 08:24:21
94阅读
话说有这么一个表： 看AUTO_INCREMENT就知道数据并不多，75万条。然后是一条简单的查询： 很简单对不对?怪异的地方在于： 如果换成MyISAM做存储引擎的时候，查询耗时只需要0.01
转载
2017-08-16 08:43:00
91阅读
2评论
