前言文本已收录至我的GitHub仓库，欢迎Star：github.com/bin39232820…种一棵树最好的时间是十年前，其次是现在我知道很多人不玩qq了,但是怀旧一下,欢迎加入六脉神剑Java菜鸟学习群，群聊号码：549684836 鼓励大家在技术的路上写博客絮叨我们继续来探索mysql。前面我们了解了mysql的索引的一些基础知识，今天我们来康康B+树索引Mysql从入门到入神之(一)Sc
转载
2024-10-27 07:02:45
17阅读
准备工作一般分页查询使用子查询优化使用 id 限定优化使用临时表优化关于数据表的 id 说明当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history
转载
2023-08-20 14:48:49
285阅读
一、数据库结构的设计表的设计具体注意的问题：1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的(电话号码)，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。3、对于不可变字符类型ch
转载
2023-08-04 15:00:01
403阅读
MySQL数据库慢查询一、慢查询的概念二、导致慢查询的原因三、慢查询优化四、慢查询日志mysqldumpslow日志分析工具五、explain 一、慢查询的概念MySQL中语句的执行时间（响应时间）超过指定的long_query_time（即慢查询时间），通俗来说也就是执行的时间超过此数据库配置中设置的阈值，我们把超过这个时间的SQL语句查询称为“慢查询”。二、导致慢查询的原因1、没有索引或者没
转载
2023-06-08 17:44:16
379阅读
# MyBatis-Plus与MySQL大数据量查询优化
在现代业务系统中，随着数据量的急剧增长，数据库的性能优化成为了一个重要的课题。MyBatis-Plus作为一个简化MyBatis操作的增强工具，尽管在开发中能极大地提高开发效率，但在面对海量数据查询时，性能问题往往会显现出来。本文将探讨MyBatis-Plus在MySQL中的数据查询慢的问题及其优化方案，包括代码示例和优化策略。
##
原创
2024-10-23 04:21:50
535阅读
记录一次 MyBatis 批量插入的优化-BatchInsert
记录在一次项目问题排查过程中，遇到在数据量大的情况下，向数据库批量插入非常耗时长的问题。1、分析首先，代码是在 service 中，采用的是 for 循环调用 insert 语句的方式：for(int i =0; i < list.size(); i++) {
baseMap
转载
2023-10-26 17:01:38
319阅读
随着访问量的上升，MySQL数据库的压力就越大，几乎大部分使用MySQL架构的web应用在数据库上都会出现性能问题，通过mysql慢查询日志跟踪有问题的查询非常有用,可以分析出当前程序里有很耗费资源的sql语句。慢查询日志我们可以通过my.cnf文件设置开启，下面先来看一下相关参数的意义log-slow-queries 存放slow query日志的文件。你必须保证mysql server进程my
转载
2023-06-18 15:51:36
126阅读
背景 程序启动时，从mysql读取所有的数据，在内存中建立数据结构。mysql表中至少有100w条记录。以后根据时间定期从mysql增量读取数据，刷新内存结构。 表结构为{uid, product, state, modify_time，primary key(uid, product)， key(modify_time)} 方法一 因为增量的更新都是
转载
2023-06-29 18:06:25
92阅读
# 实现“java redis 大数据量like查询”教程
## 整体流程
在实现"java redis 大数据量like查询"这一功能时，我们可以分为以下几个步骤：
```mermaid
pie
title 步骤分布
"准备工作" : 10
"数据预处理" : 20
"通过Redis进行模糊查询" : 30
"结果展示" : 20
"总结"
原创
2024-03-18 06:16:17
166阅读
这个就是做个练习.想看下JDBC的最大优化度.我的要求就是插入到数据库里大量的数据 比如10W 或者 100W 而且要求内存稳定.首先说下我的代码:我的数据库MySQL CREATE TABLE `users` (
`id` int(11) NOT NULL auto_increment,
`firstname` varchar(50) NOT NULL,
`lastnam
转载
2024-04-16 21:39:55
318阅读
一、市场份额
1.简介
Sphinx
优势：Sphinx是一个基于SQL的C++开发的开源全文检索引擎，在1千万条记录情况下的查询速度为0.x秒（毫秒级）始于2001年，近20年的市场打磨（本文基于目前最新版3.0.3）搜索引擎市场份额占比排名第5阿里云RDS中有1款Mysql存储引擎：SphinxSE就是为此配套，支持SQL JOIN提供SphinxQL，像使用
## MySQL大数据量count慢的原因及解决方案
### 1. 引言
在开发和维护大数据量的MySQL数据库时，我们经常会遇到一些查询性能问题。其中，对于大数据量的count操作慢，是一个常见的问题。本文将介绍为什么MySQL在大数据量下的count操作会变慢，并提供一些解决方案。
### 2. 为什么MySQL大数据量count慢
在理解为什么MySQL在大数据量下的count操作会
原创
2023-08-24 22:17:42
1079阅读
前一节使用 AND 和 OR 等连接符来对数据的搜索进行筛选，那些是在条件明确的情况下，比如 id 值的范围，大小等等。 那么在我们知道的条件有限，只包含一部分，比如说 我要搜索 某个字段中包含 ‘Python’ 字符串的数据，但是我忘了 这个单词怎么拼写，或者忘了数据库中存储的 ‘P’ 是大写还是小写，只记得有 ‘ython’，怎么办呢？那么这就可以用到我们这一节要介绍的 使用 LIKE 进行模
转载
2023-09-29 07:00:03
201阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
转载
2023-07-13 06:53:32
373阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t
转载
2023-07-13 16:40:08
327阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from xuehi.com where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
sele
转载
2023-12-28 03:34:02
106阅读
最近，在脉脉上看到一个楼主提出的问题：MySQL数据量大时，delete操作无法命中索引；并且还附上了相关案例截图。最终，楼主通过开启MySQL分析优化器追踪，定位到是优化器搞的鬼，它觉得花费时间太长。因为我这个是测试数据，究其原因是因为数据倾斜，导致计算出的数据占比较大、花费时间长。 大家要记住一点，一条SQL语句走哪条索引是通过其中的优化器和代价分析两个部分来决定的。所以，随着数据的
转载
2023-10-28 10:48:17
185阅读
# MySQL查询大数据量
在处理大数据集时，MySQL是一种非常常用的数据库管理系统，它可以高效地处理大量数据并提供丰富的查询功能。本文将介绍如何使用MySQL进行大数据量查询，并提供一些示例代码供参考。
## 1. 索引优化
在查询大数据集时，索引是提高查询效率的关键。MySQL提供了多种类型的索引，包括B树索引、哈希索引和全文索引。对于大数据量查询，通常采用B树索引。
创建索引示例：
原创
2023-08-01 06:02:42
348阅读
在优化查询中，数据库应用（如MySQL）即意味着对工具的操作与使用。使用索引、使用EXPLAIN分析查询以及调整MySQL的内部配置可达到优化查询的目的。 任何一位数据库程序员都会有这样的体会：高通信量的数据库驱动程序中，一条糟糕的SQL查询语句可对整个应用程序的运行产生严重的影响，其不仅消耗掉更多的数据库时间，且它将对其他应用组件产生影响。 如同其它学科，优化查询性能很大程度上决定于开发者的
转载
2024-08-26 13:09:55
28阅读
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的
转载
2024-06-06 06:20:07
48阅读
