基本概念流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。流式查询的过程当中，数据库连接是保持打开状态的，因此
转载
2023-11-30 20:39:11
118阅读
一、前言程序访问 MySQL 数据库时，当查询出来的数据量特别大时，数据库驱动把加载到的数据全部加载到内存里，就有可能会导致内存溢出（OOM）。其实在 MySQL 数据库中提供了流式查询，允许把符合条件的数据分批一部分一部分地加载到内存中，可以有效避免OOM；本文主要介绍如何使用流式查询并对比普通查询进行性能测试。 二、JDBC实现流式查询使用JDBC的 PreparedStatement/Sta
转载
2021-01-04 09:33:00
208阅读
2评论
一、前言程序访问 MySQL 数据库时，当查询出来的数据量特别大时，数据库驱动把加载到的数据全部加载到内存里，就有可能会导致内存溢出（OOM）。其实在 MySQL 数据库中提供了流式查询，允许把符合条件的数据分批一部分一部分地加载到内存中，可以有效避免OOM；本文主要介绍如何使用流式查询并对比普通查询进行性能测试。 二、JDBC实现流式查询使用JDBC的 PreparedStatement/Sta
转载
2021-01-24 21:23:10
319阅读
2评论
准备工作一般分页查询使用子查询优化使用 id 限定优化使用临时表优化关于数据表的 id 说明当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history
转载
2023-08-20 14:48:49
285阅读
一、在需要使用流式查询的mapper文件中，定义流式查询方法 二、使用示例 三、总结 Oracle和DB2，当我们执行一个SQL查询语句的时候，...
原创
2022-03-17 11:47:30
3961阅读
前一节使用 AND 和 OR 等连接符来对数据的搜索进行筛选，那些是在条件明确的情况下，比如 id 值的范围，大小等等。 那么在我们知道的条件有限，只包含一部分，比如说 我要搜索 某个字段中包含 ‘Python’ 字符串的数据，但是我忘了 这个单词怎么拼写，或者忘了数据库中存储的 ‘P’ 是大写还是小写，只记得有 ‘ython’，怎么办呢？那么这就可以用到我们这一节要介绍的 使用 LIKE 进行模
转载
2023-09-29 07:00:03
201阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
转载
2023-07-13 06:53:32
373阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t
转载
2023-07-13 16:40:08
327阅读
一、数据库结构的设计表的设计具体注意的问题：1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的(电话号码)，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。3、对于不可变字符类型ch
转载
2023-08-04 15:00:01
403阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from xuehi.com where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
sele
转载
2023-12-28 03:34:02
106阅读
# MySQL查询大数据量
在处理大数据集时，MySQL是一种非常常用的数据库管理系统，它可以高效地处理大量数据并提供丰富的查询功能。本文将介绍如何使用MySQL进行大数据量查询，并提供一些示例代码供参考。
## 1. 索引优化
在查询大数据集时，索引是提高查询效率的关键。MySQL提供了多种类型的索引，包括B树索引、哈希索引和全文索引。对于大数据量查询，通常采用B树索引。
创建索引示例：
原创
2023-08-01 06:02:42
348阅读
在优化查询中，数据库应用（如MySQL）即意味着对工具的操作与使用。使用索引、使用EXPLAIN分析查询以及调整MySQL的内部配置可达到优化查询的目的。 任何一位数据库程序员都会有这样的体会：高通信量的数据库驱动程序中，一条糟糕的SQL查询语句可对整个应用程序的运行产生严重的影响，其不仅消耗掉更多的数据库时间，且它将对其他应用组件产生影响。 如同其它学科，优化查询性能很大程度上决定于开发者的
转载
2024-08-26 13:09:55
28阅读
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。 由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的
转载
2024-06-06 06:20:07
48阅读
Mysql大表查询优化，理论上千万级别以下的数据量Mysql单表查询性能处理都是可以的。
转载
2023-06-26 17:26:38
215阅读
MySQL数据库慢查询一、慢查询的概念二、导致慢查询的原因三、慢查询优化四、慢查询日志mysqldumpslow日志分析工具五、explain 一、慢查询的概念MySQL中语句的执行时间（响应时间）超过指定的long_query_time（即慢查询时间），通俗来说也就是执行的时间超过此数据库配置中设置的阈值，我们把超过这个时间的SQL语句查询称为“慢查询”。二、导致慢查询的原因1、没有索引或者没
转载
2023-06-08 17:44:16
379阅读
一，我们现有一张大数量表，如下 二，我们一般的语句分页方式是select * from test where userid=0 limit 30000,5;我们先看看查询效率，三，优化查询效率，如下select * from test a inner join (select id from test where userid=0 limit 30000,5) b on a.
转载
2023-06-04 18:06:21
214阅读
在实际场景中会遇到这样的一种情况：数据量很大，而且还要分页查询，如果数据量达到百万级别之后，性能会急剧下降，导致查询时间很长，甚至是超时。接下来我总结了两种常用的优化方案，仅供参考。但是需要注意的是有个前提：主键id是递增且数据有序。
转载
2023-06-26 18:29:48
461阅读
大数据迁移——Python+MySQL引言方法一：数据库复制 ——最糟糕方法二：数据库转存——最蜗牛方法三：数据库备份——最尬速方法四：内存操作Python+MySQL——最火箭 引言最近，因为课题组更换服务器，有一批数据需要做数据迁移，数据量大约150G-200G，一部分数据存储在原来服务器的MySQL上，另外一部分数据以txt文件存储在硬盘上。现在，我需要将这些数据全部迁移存储在新服务器的M
转载
2023-08-11 14:25:11
464阅读
# MySQL游标大数据量查询实现教程
## 1. 概述
MySQL是一个非常流行的关系型数据库管理系统，当数据量达到一定规模时，如何高效地进行查询是开发者面临的一个重要问题。本文将教会刚入行的小白如何使用MySQL游标来处理大数据量查询，以提高查询效率。
## 2. 整体流程
下面是实现MySQL游标大数据量查询的整体流程：
| 步骤 | 描述 |
| --- | --- |
| 1. 连
原创
2024-01-06 06:51:17
71阅读
PS：我们知道mysql使用Limit实现了分页查询，在我们平常的Web开发中常用一些通用的分页查询jar包，比如说有名的中国开发者实现的java Pagehelper（Github地址https://github.com/pagehelper/Mybatis-PageHelper），但是呢只考虑了应用开发中的方便性，没有考虑数据库的性能，用户体验对于互联网时代是非常重要的，应用服务器相应的性能更
转载
2023-09-01 08:46:50
122阅读
