一、实践回顾MySQL版本5.7.28。需求是将A表(350W记录)中的有效数据存入ES中。所谓有效数据是指未逻辑删除且未Disabled的数据，其实就是一组where条件。原有的方案是使用SQL的Limit功能分页读取数据，将数据压入MQ中，消费者监听MQ并将数据存入ES。伴随着pageIndex的增长，MySQL查询速度越来越缓慢，3个小时仅处理了150W数据。为加快数据同步速度，在对SQL
转载
2023-07-10 18:42:14
152阅读
# MySQL 分页与计数的实现
在处理数据库时，分页功能是一个非常常见的需求，尤其是在数据量较大的情况下。通过分页，我们可以减少一次性加载的数据量，提高应用的性能和用户体验。本文将教你如何在 MySQL 中实现分页计数功能，帮助控制数据的展示。
## 实现流程
以下是实现 MySQL 分页与计数的基本流程：
| 步骤 | 说明
limit用法在我们使用查询语句的时候，经常要返回前几条或者中间某几行数据，这个时候怎么办呢？不用担心，mysql已经为我们提供了这样一个功能。SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offsetLIMIT 子句可以被用于强制 SELECT 语句返回指定的记录数。LIMIT 接受一个或两个数字参数。参数必须是一个整数常量。如果给
转载
2023-10-28 11:19:23
138阅读
获取结果集中的记录数可以在SELECT语句中使用COUNT()函数获取结果集中的记录数量设置每页显示记录的数量假定使用变量$PageSize来保存每页显示记录的数量，它的值由 用户根据需要自行设置，可以直接通过赋值语句来实现。获取总页面数量可以通过$RecordCount和$PageSize两个数据计算得到总页面数量$PageCount，如何显示第n 页中的记录虽然使用 PageSize属性可以控
转载
2023-08-08 23:10:22
91阅读
分页如果写在SQL脚本中，将会大大影响我们后续数据库的迁移难度。mybatis的分页一般是自己实现一个mybatis的拦截器，然后根据某些特定的条件开启分页，对原有SQL进行改造。 正在我对mybatis的拦截器进行研究的时候从网上找到了一个很好的分页插件，主页地址是 https://github.com/pagehelper/Mybatis-PageHelper 已经实现了拦截
转载
2023-10-26 16:50:02
1325阅读
# MySQL 分页与优化：解决慢查询问题
当在使用 MySQL 进行数据分页时，常常会遇到性能较差的问题。本文将教你如何合理地实现分页，并优化 `COUNT` 查询的速度。我们将用一个简单的示例带您逐步了解，同时会展示相应的代码和图示。
## 整体流程
为了帮助你理解如何实现分页和优化查询速度，我们将整个流程总结成以下几个步骤：
| 步骤 | 说明
对于索引优化真的是门课题，先来研究下最平常的问题，innodb引擎下 怎么让count(*)快一点。 首先需要清楚innodb 默认是对主键建立聚簇索引,如果没有主键，那就是对具有唯一且非空值的索引来代替，如果也没有，innodb内部就会自己维护一个这样的索引。聚簇索引存的是索引+数据,二级索引存的是对主键即聚簇索引的指向。 所以通过上面的猜想 1.表中聚簇索引如果有varchar,te
转载
2023-07-10 18:46:36
95阅读
我个人更喜欢用第三种方法,见select count(0)或者select count(*)等非常慢的优化(三)一、故事背景项目组联系我说是有一张 500w 左右的表做 select count(*) 速度特别慢。二、原 SQL 分析Server version: 5.7.24-log MySQL Community Server (GPL)SQL 如下，仅仅就是统计 
转载
2023-07-21 19:18:29
280阅读
# MySQL优化 COUNT 操作的指南
在日常开发中，如何高效地执行 `COUNT` 查询是一个常见的任务。尤其是在处理大数据集时，合理地优化 `COUNT` 查询可以显著提升性能。本文将指导你完成 MySQL 优化 `COUNT` 的流程，逐步深入，并提供具体的代码示例，帮助你更好地理解这一过程。
## 优化 COUNT 的流程
以下是优化 `COUNT` 查询的步骤：
| 步骤
原创
2024-08-28 05:19:06
32阅读
# MYSQL COUNT 优化
## 概述
在MYSQL中，COUNT是一个非常常见的操作，用于统计满足某个条件的行数。然而，当数据量较大时，COUNT操作可能会变得非常耗时，影响系统性能。因此，我们需要对COUNT操作进行优化，提高查询效率。
## 优化步骤
为了实现MYSQL COUNT的优化，我们需要按照以下步骤进行操作：
| 步骤 | 操作 |
| ---- | ---- |
|
原创
2024-01-08 07:08:22
173阅读
? 前言? 作者简介：大家好，我是周周，目前就职于国内短视频小厂BUG攻城狮一枚。 ?个人主页：程序猿周周 ?专题系列：Java面试总结 ? 如果文章对你有帮助，记得?点赞?、?关注?➕?收藏?，一键三连哦，你的支持将成为我最大的动力。 文章目录? 前言? 1 概述? 1.1 索引为何不生效? 1.2 SQL 的执行过程? 1.3 MySQL 做了哪些优化? 2 优化器? 2.0 数据准备? 2.
在语音聊天系统源码开发时，我们会分布式部署很多个业务服务器，其中就包含存储动态数据及静态数据的REDIS数据库和MYSQL数据库。今天我们主要来了解一下在语音聊天系统源码开发中常用的MySQL优化技巧。1、大批量插入数据优化（1）对于MyISAM存储引擎的表，可以使用：DISABLE KEYS 和 ENABLE KEYS 用来打开或者关闭 MyISAM 表非唯一索引的更新。ALTERTABLE t
看看你用到了哪些：1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id
转载
2023-07-21 19:24:35
170阅读
单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候 MySQL 单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。字段尽量使用 TINYINT、 SMALLINT、 MEDIUM_INT 作为整数类型而非 INT，如果非负则加上 UNS
转载
2024-07-31 16:15:19
38阅读
优化原则：永远是小表驱动大表select * from A where id in(select id from B)
等价于
for select id from B
for select * from A where A.id=B.id
当B表的数据集必须小于A表的数据集时，用in优于exists
也可以不是1，是个常量也行
select * from A where exists(selec
转载
2023-07-21 19:20:02
78阅读
那么如果使用者不停按动“下一页”，“下一页”…会出现什么情况呢。你会发现查询速度开始逐渐变慢了，当查到很靠后的页数时，基本上响应时间已经无法接受了。尤其是有并发查询的时候，无论是用户响应时间还是数据库服务器都开始出现问题了。 为什么会这样呢，原因很简单，因为如果我们使用limit N，M做分页处理的时候
一 背景大部分开发和DBA同行都对分页查询非常非常了解，看帖子翻页需要分页查询，搜索商品也需要分页查询。那么问题来了,遇到上千万或者上亿的数据量怎么快速的拉取全量，比如大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计;或者拥有百万千万粉丝的公众大号,给全部粉丝推送消息的场景。本文讲讲个人的优化分页查询的经验，抛砖引玉。二 分析在讲如何优化之前我们先来看看一个比较常见错误的写法
常见业务处理一、使用数据库处理常见业务：案例： 如何对评论进行分页展示使用 EXPLAIN 获得sql的执行计划EXPLAIN
SELECT customer_id,title,content
from `product_comment`
where audit_status = 1
and product_id = 199726
LIMIT 0,5;
SELECT UPDATE INSERT
一、SQL语句优化1、优化count每次分页操作都要获取一次count（），都需要扫描大量的行（意味着需要访问大量的数据）才能获得精确的结果，因此可以增加汇总表，或者redis缓存来专门记录该表对应的记录数，这样的话，就可以很轻松的实现汇总数据的查询，而且效率很高，但是这种统计并不能保证百分之百的准确。创建一张表用来记录日志表的总数据量：create table log_counter(
logc
转载
2023-07-10 16:53:02
226阅读
MySQL语句基础优化策略：第一、不使用select * ……这样的语句。 老老实实将需要的字段写出来，如select name……这样的，除非是整张表的数据字段都要使用。第二、永远不要讲or作为顶层条件。 有or的放在括号（）里，顶层条件必须用and。如：where a=1 and b=3 and … or ccc=33 … ， 这种是等于 where ( a=1 and b=3 and …)
转载
2023-10-08 14:35:35
107阅读
