树结构==================================================B树，即平衡二叉树,每个非叶子节点最多拥有两个子节点。所有键值出现在叶子节点和非叶子节点。==================================================B-树，在B树上扩展出来的多路搜索树，每个非叶子节点可能包含N个子节点。所有键值出现在叶子节点和非叶子节
转载
2024-06-03 21:07:30
38阅读
1.简单地认识下与索引有关的数据结构：
树的简单概念：由n个节点组成具有层次关系的集合，根朝上叶朝下
树的特点：每个节点有0或多个子节点，无父节点称为根节点，每个非根节点有且只有一个父节点，每个节点可分为多个不相交的子树(父节点除外) 二叉树的简单概念：每个节点最多有2个子树的树结构，有左右子树之分 二叉查找树的简单概念：二叉树的前提下，左子树上所有节点的值均小于/等于其父节点的值
MySQL快速插入亿级数据前言通常我们会有这样的需求：构造数据，大批量插入数据库，以供后续处理。如果是几万几十万的数据那还好说，但如果是上千万上亿的数据，那么我们对速度的追求就更加迫切。这里我们利用Python来操作MySQL（或者PostgreSQL），采取多进程多协程的方式，实现大批量数据快速插入。数据库配置# 查看bulk_insert_buffer_size大小，默认是8M
SHOW VA
转载
2023-07-28 16:05:47
184阅读
点赞
2评论
实践中如何优化MySQL实践中，MySQL的优化主要涉及SQL语句及索引的优化、数据表结构的优化、系统配置的优化和硬件的优化四个方面，如下图所示： SQL语句及索引的优化SQL语句的优化SQL语句的优化主要包括三个问题，即如何发现有问题的SQL、如何分析SQL的执行计划以及如何优化SQL，下面将逐一解释。怎么发现有问题的SQL?（通过MySQL慢查询日志对有效率问题的SQ
转载
2024-07-08 21:06:20
49阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：&nbs
转载
2023-09-16 07:20:25
159阅读
在ES6之前，我们存储数据的结构主要有两种：数组、对象。
在ES6中新增了另外两种数据结构：Set、Map，以及它们的另外形式WeakSet、WeakMap。
Set是一个新增的数据结构，可以用来保存数据，类似于数组，但是和数组的区别是元素不能重复。
创建Set我们需要通过Set构造函数（暂时没有字面量创建的方式）：
我们可以发现Set中存放的元素是不会重复的，那么Set有一个非常常用的
# MySQL 千万级数据中的 NOT IN 查询优化
在处理千万级数据时，MySQL 数据库的性能可能会受到很大影响，尤其是涉及到复杂查询时。其中，`NOT IN` 是一种常见的查询操作，它用于从一组记录中排除特定条件的数据。然而，使用 `NOT IN` 查询时，性能往往不如预期，尤其是在大数据集上。
## 1. `NOT IN` 的基本用法
`NOT IN` 操作符用于选择不在指定列表中
原创
2024-10-19 03:30:22
133阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is nul 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from
转载
2023-09-24 08:52:25
88阅读
Mysql数据库优化 mysql优化是一个综合性的技术，主要从以下几个层面来优化： •表的设计合理化(符合3NF) •添加适当索引(index) [四种: 普通索引、主键索引、唯一索引unique、全文索引] •分表技术(水平分割、垂直分割) •读写[写: update/delete/add]分离 •存储过程 [模块化编程，可以提高速度] •对mysql配置优化 [配置最大并发数my.ini, 调
转载
2023-07-10 16:55:53
130阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t wh
转载
2023-08-08 19:51:46
329阅读
1.理解索引优化作用索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传
转载
2023-06-29 10:19:37
154阅读
mysql数据量大时使用limit分页，随着页码的增大，查询效率越低下。本文给大家分享的是作者在使用mysql进行千万级数据量分页查询的时候进行性能优化的方法，非常不错的一篇文章，希望能帮助到大家。
转载
2023-07-04 09:40:17
126阅读
Oracle千万级记录进行处理并不简单，下面就为您总结了Oracle千万级记录插入和查询的技巧，希望对您能够有所启迪。最近做了个项目，实现对存在Oracle千万级记录的库表执行插入、查询操作。原以为对数据库的插入、查询是件很容易的事，可不知当数据达到百万甚至千万条级别的时候，这一切似乎变得相当困难。几经折腾，总算完成了任务。1、防止运用 Hibernate框架Hibernate用起来虽然方便，但对
转载
2023-12-01 09:16:44
101阅读
一、MySQL Index 的插入有如下B+树，其高度为2，每页可存放4条记录，扇出为5。所有记录都在叶子节点上，并且是顺序存放，如果用户从最左边的叶子节点开始顺序遍历，可以得到所有简直的顺序排序:5、10、15、20、25、30、50、55、60、65、75、80、85、90。B+树的插入操作，分为三种情况1、Leaf Page和Index Page都没满用户插入28这个值，Leaf Page和
转载
2024-06-05 20:30:49
13阅读
高级数据结构（Ⅲ）线段树（Segment Tree）线段树的原理树的创建单点修改区间查找完整代码及测试开始这次的学习高级数据结构（Ⅲ）线段树（Segment Tree）线段树的原理线段树是一种二叉搜索树 ， 对于线段树中的每一个非叶子结点[a,b]，它的左儿子表示的区间为[a, (a+b)/2]，右儿子表示的区间为[(a+b)/2+1, b]。因此线段树是平衡二叉树，最后的子节点数目为N，即整个线
推荐
原创
2022-05-23 13:38:35
1055阅读
背景介绍有个数字化转型项目采用MySQL数据库，有张大表数据两千万左右，深度分页（比如翻页1000万行）后查询比较慢，需要进行优化需求分析 1）由于B端项目需要查询全量数量，查询条件有起止日期，没有采用水平分表方案，如根据用户ID水平分表、根据时间水平分表等 2）采用ES、Hive+Impala、ClickHouse等OLAP方案需要引入其他技术栈，开发资源、进度等无法满足要求本文主要分析大表深度
转载
2023-09-05 10:22:33
302阅读
前言千万级大表如何优化，这是一个很有技术含量的问题，通常我们的直觉思维都会跳转到拆分或者数据分区。除此之外，还有其他的思路和解决方案。根据本人多年的工作经验，做了如下总结。方案"千万级大表优化"这句话有3个关键字: 千万级，大表和优化。接下来将就这3个关键字展开讨论。数据量：千万级随着业务的发展,应用需要处理的数据量也是动态变化的。这也意味着要带着一种动态思维来系统的数据量，从而对于不同的场景我们
转载
2023-08-14 13:15:33
2095阅读
前言单词查找树算法实现单词查找树的性质三向单词查找树力扣字典树实战下面开始本节的内容高级数据结构（Ⅴ）单词查找树单词查找树又称前缀树、字典树、Trie树，常用于检索，大量字符串的排序等。具体来说，本节中所讨论的算法在一般应用场景中（甚至对于巨型符号表）都能够取得以下性能：查找命中所需要的时间与被查找的键的长度成正比；查找未命中只需检查若干个字符。实现：public class String
推荐
原创
2022-05-25 12:09:45
5615阅读
点赞
1. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t w
转载
2024-06-03 15:31:29
54阅读
前言索引的相信大家都听说过，但是真正会用的又有几人？平时工作中写SQL真的会考虑到这条SQL如何能够用上索引，如何能够提升执行效率？此篇文章详细的讲述了索引优化的几个原则，只要在工作中能够随时应用到，相信你写出的SQL一定是效率最高，最牛逼的。文章的脑图如下：索引优化规则1、like语句的前导模糊查询不能使用索引select * from doc where title like '%XX'； -
