说明：【MySQL查缺补漏学习】系列是在工作之余，梳理的一些关于MySQL的一些容易忽略的知识点，通过回顾和补充也可以更加系统的学习MySQL，以便在工作中更加游刃有余。 MySQL索引MySQL索引索引的类型B-Tree 索引哈希索引创建自定义哈希索引空间数据索引 （R -Tree）全文索引 MySQL索引索引（MySQL）里叫“键“）是存储引擎用于快速找到记录的一种数据结构。为了更好的理解，索
转载
2024-10-09 08:15:10
15阅读
说明：这几天尝试了使用不同的存储引擎大量插入MySQL表数据，主要试验了MyISAM存储引擎和InnoDB。下面是实验过程：实现：一、InnoDB存储引擎。创建数据库和表> CREATE DATABASE ecommerce;
> CREATE TABLE employees (
id INT NOT NULL,
fname VARCHAR(3
转载
2023-10-25 17:48:19
90阅读
一.概述 整数集合(intset)与hash表，跳跃表等一样是集合键的底层实现之一，一般用于保存数量不多的整数，这是由于其实现机制导致的不能存储过多元素，否则会造成效率问题。集合键的内部结构可以使用Redis命令OBJECT ENCODING获取二.整数集合结构 整数集合可以用于保存int16_
SpringBoot 2.2.0整合腾讯云对象存储实现文件上传对象存储 COS 简介 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。COS
转载
2024-09-21 14:32:32
74阅读
在工作中有时会遇到有大量需要导入到数据库，如果通过写脚本一条一条的插入到mysql，那么会非常慢的。之前我有想到一次性插入10000条数据就好了啊，这样确实在大部分情况下都能满足需求了。但是如果你去多了解一些mysql，会发现其实只需要写一条Sql就可以解决这个问题了，我们就不需要重复制造轮子了。不过这里需要两个前提，1、将原始数据转化成为CSV格式的文件2、mysql客户端连接mysql ser
转载
2023-08-12 12:25:55
174阅读
一、痛点
• 数据量日积月累越来越大，哪怕 sharding 也很难实现到查询秒出，并且硬件成本和程序复杂度都很高；
• 数据查询涉及逻辑复杂，单个 SQL 往往涉及多个表 join，以致 SQL 执行慢，SQL 优化难度大；
• 历史数据更新量大，普通的 SQL 数据库数据导入都会存在 io 瓶颈；
转载
2023-07-13 06:51:46
491阅读
一、寄存器：这是最快的存储区，因为它位于不同于其他存储区的地方——处理器内部。但是寄存区的数量很有限，所以寄存器根据需求分配。你不能直接控制，也不能在程序中感觉到寄存器的存在的任何迹象。（C和C++允许你向编译器建议寄存器的分配方式） 二、堆栈：堆栈指针若向下移动，则分配新的内存；若向上移动则释放内存。这是一种仅次于寄存器的快速有效的分配存储方式。创建程序时，Java系统必须知道存储在堆
转载
2024-06-28 09:29:54
79阅读
elasticsearch高级应用1.es的深度分页问题1.浅分页from/size浅分页适合用于小于10000数据集的业务场景属于通过业务解决es深度分页问题的方式（类似百度就是这样的），浅分页支持随机跳转分页的业务场景。from：未指定是0 代表数据的起始值size：未知的是10 代表返回数据条数es定义大于10000条的分页（默认）因为性能过差是禁止查询的，所以称为浅分页。具体的数量可以通过
引言作者：竹子爱熊猫前面《MySQL优化篇》[1]、《SQL优化篇》[2]两章中，聊到了关于数据库性能优化的话题，而本文则再来聊一聊关于MySQL线上排查方面的话题。线上排查、性能优化等内容是面试过程中的“常客”，而对于线上遇到的“疑难杂症”，需要通过理性的思维去分析问题、排查问题、定位问题，最后再着手解决问题，同时，如果解决掉所遇到的问题或瓶颈后，也可以在能力范围之内尝试最优解以及适当考虑拓展性
引言：在实际的应用场景中，我们经常需要查询数据库中的一些特定记录，在这种情况下，我们通常会使用"IN"关键字来查询指定ID的记录。然而，当我们需要查询大量数据时，这种方法就不再是最优解了。本文将探讨这个问题，给出合理的解决方案，并在代码示例中演示如何避免使用"id in 大量数据"。为什么不建议执行"id in 大量数据"？当我们使用"id in 大量数据"时，MySQL会将查询请求发送给服务器，
转载
2024-07-17 16:31:00
37阅读
前言： 在系统正常运作一定时间后，随着市场、产品汪的需求不断变更，比较大的一些表结构面临不得不增加字段的方式来扩充满足业务需求； 而 MySQL 在体量上了千万、亿级别数据的时候，Alter Table 的操作，可以让你等一天，而且在高峰期执行这种 SQL 让你的数据库也承担着压力。 第一时间想到的解决方案就是新建一张表，去掉索引等关联关系，然后加上需要修改的字段，接着写上 in
转载
2023-08-14 11:34:53
71阅读
目录前言一、硬件方向二、程序开发方向2.1 建议开启 rewriteBatchedStatements=true 配置项2.2 load data infile 总结前言 在开发过程中可能会遇到需要快速入库大量数据的场景。理论上来说通过批量写入应该能够快速的插入数据，但是实际过程中批量插入速度并不是很理想。接下来介绍一下优化常用的操作
转载
2023-06-27 23:24:12
205阅读
# MySQL 处理大量数据的方法及优化
## 引言
在现代社会中，数据量的爆炸式增长已经成为了一种常态。对于数据库管理系统来说，处理大量数据是一项非常重要的任务。本文将介绍如何在 MySQL 中处理大量数据，并提供一些优化方法。
## 数据库设计和索引优化
在处理大量数据之前，首先需要进行数据库设计和索引优化。良好的数据库设计可以最大限度地减少数据冗余和数据不一致的问题，同时还能提高查询
原创
2023-09-05 10:51:32
160阅读
命令：Mysqlhotcopy这个命令会在拷贝文件之前会把表锁住，并把数据同步到数据文件中，以避免拷贝到不完整的数据文件，是最安全快捷的备份方法。命令的使用方法是： mysqlhotcopy -u root -p db1 db2 … dbn 如果需要备份全部数据库，可以加上–regexp=”.*”参数。Mysqlhotcopy命令可自动完成数据锁定工作，备份时不用关闭服务器。它还可以刷新日志，使备
转载
2024-06-09 20:32:00
59阅读
这几天研究mysql优化中查询效率时，发现测试的数据太少（10万级别），利用 EXPLAIN 比较不同的 SQL 语句，不能够得到比较有效的测评数据，大多模棱两可，不敢通过这些数据下定论。所以通过随机生成人的姓名、年龄、性别、电话、email、地址 ，向mysql数据库大量插入数据，便于用大量的数据测试 SQL 语句优化效率。、在生成过程中发现使用不同的方法，效率天差万别。1、先上Mysql数据库
转载
2023-10-04 19:13:38
163阅读
MySQL插入已知的1000万条数据如何快速的向数据库中插入已知的1000万条数据 假设这1000W条数据在同一个集合里，那么将这个集合进行遍历，循环1000W次，结合数据库编程技术，如JDBC，就可以插入数据库，这么简单的操作，显然不是正确答案…这样做的缺陷：1.应用服务器（程序运行所在服务器）与MySQL数据库服务器并不是同一台，当需要执行数据库操作时，会由应用服务器将SQL语句发送到MySQ
转载
2023-07-09 20:12:08
147阅读
说来惭愧，之前甚至连这个都没学 用文件的形式存储，其实有很多种不同办法都能实现。 但是这学期时间有限，所以打算学习其中的四种，目前只是做demo，所以使用的方法都是小白级别的。一、Unity自带-PlayerPrefs简单介绍存储读取数据只有对应的三种方法，非常方便。缺点是只能存储三种数据形式——int float string 使用就只有一种套路：//在Player preference里面存入
转载
2024-03-05 10:30:20
237阅读
目录 MySQL一、存储引擎1.简介2.分类3.MyISAM4.InnoDB二、事务1.简介2.事务的并发问题3.MySQL事务隔离级别4.使用三、日志1. 错误日志2.事务日志(十六进制的变化)2.二进制日志 (binlog,逻辑型日志)3.慢日志四、备份1.分类2.逻辑备份工具五、主从复制1.简介2.原理3.实现主从复制 MySQL一、存储引擎1.简介 MySQL中的数据用各种不同的技术
转载
2024-06-27 19:00:25
41阅读
缓存冷启动，redis启动后，一点数据都没有，直接就对外提供服务了，mysql就裸奔（1）提前给redis中灌入部分数据，再提供服务（2）肯定不可能将所有数据都写入redis，因为数据量太大了，第一耗费的时间太长了，第二根本redis容纳不下所有的数据（3）需要根据当天的具体访问情况，实时统计出访问频率较高的热数据（4）然后将访问频率较高的热数据写入redis中，肯定是热数据也比较多，得多个服务并
转载
2023-10-01 14:01:44
100阅读
文章目录一.引入二.切片集群1.简介2.数据存储方案：scale up和scale out`纵向扩展横向扩展3.两种方式优缺点对比：4.从横向扩展转换为纵向扩展就需要解决一下问题：三.数据切片与实例的对应分布关系Redis Cluster 是切片集群的具体实现具体映射过程什么情况下不均分哈希槽位数量四.客户端如何定位数据？五.重定向机制MOVED与ASK不同点六.总结 一.引入给出一个场景，要求
转载
2023-05-25 11:37:45
192阅读
