环境：win10系统一、官网下载地址：MySQL :: Download MySQL Community Server (Archived Versions)
二、解压与配置 将压缩包解压到D盘 my.ini文件 和 data文件夹解压在刚解压好后是没有的，需要手动添加。（1）创建my.ini文件，配置内容如下：注意了：要改成自己的安装目录[mysql]
# 设置m
转载
2023-09-21 09:13:35
146阅读
解决MySQL数据库意外崩溃导致表数据文件损坏无法启动的问题问题故障：MySQL数据库意外崩溃，一直无法启动数据库。报错日志：启动报错：service mysqld restartERROR! MySQL server PID file could not be found!Starting MySQL. ERROR! The server quit without updating PID fi
转载
2024-10-24 19:11:17
16阅读
原创
2021-05-25 11:45:29
473阅读
作者简介：大家好，我是smart哥 1 啥是Redis ModuleRedis Module是Redis的一种扩展模块，从 4.0版本开始，允许用户自定义扩展模块，在Redis内部实现新的数据类型和功能，使用统一的调用方式和传输协议格式扩展Redis的能力。它本身的设计目的就是在不同版本的Redis中运行，因此无需重新编译模块即可与特定版本（Redis > 4.0）一起运行。通过使用Redi
在工作中有时会遇到有大量需要导入到数据库，如果通过写脚本一条一条的插入到mysql，那么会非常慢的。之前我有想到一次性插入10000条数据就好了啊，这样确实在大部分情况下都能满足需求了。但是如果你去多了解一些mysql，会发现其实只需要写一条Sql就可以解决这个问题了，我们就不需要重复制造轮子了。不过这里需要两个前提，1、将原始数据转化成为CSV格式的文件2、mysql客户端连接mysql ser
转载
2023-08-12 12:25:55
174阅读
# 模拟插入大量数据到Hive
在大数据处理领域中，Hive 是一个常用的数据仓库工具，它可以让用户在 Hadoop 上进行数据查询和分析。为了测试 Hive 在处理大量数据时的性能，我们可以模拟插入大量数据到 Hive 中。
## Hive 插入大量数据的方式
Hive 支持使用 INSERT INTO 语句将数据插入到表中。我们可以使用循环语句来不断插入数据，从而模拟插入大量数据。
下
原创
2024-06-03 06:03:04
220阅读
一、上传/下载的过程。 上传的过程就是你把你本地的文件，扔到服务器上的这么一个过程。 下载呢，就是把服务器上的文件拿过来,然后存到你本地的这么一个过程。 总结一下呢，上传就是你给服务器一文件，下载呢就是你从服务器
转载
2024-10-25 15:12:56
118阅读
# Java本地缓存大量数据的实现
作为一名经验丰富的开发者，我将教会你如何实现Java本地缓存大量数据。本文将以表格的形式展示整个实现流程，并提供每一步所需的代码和代码注释。
## 实现流程
以下表格展示了本地缓存大量数据的实现步骤。
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建一个缓存管理类，用于管理缓存的读取和写入操作。 |
| 2 | 设计一个缓存存储类，用
原创
2024-01-05 12:04:02
72阅读
一、痛点
• 数据量日积月累越来越大，哪怕 sharding 也很难实现到查询秒出，并且硬件成本和程序复杂度都很高；
• 数据查询涉及逻辑复杂，单个 SQL 往往涉及多个表 join，以致 SQL 执行慢，SQL 优化难度大；
• 历史数据更新量大，普通的 SQL 数据库数据导入都会存在 io 瓶颈；
转载
2023-07-13 06:51:46
491阅读
引言：在实际的应用场景中，我们经常需要查询数据库中的一些特定记录，在这种情况下，我们通常会使用"IN"关键字来查询指定ID的记录。然而，当我们需要查询大量数据时，这种方法就不再是最优解了。本文将探讨这个问题，给出合理的解决方案，并在代码示例中演示如何避免使用"id in 大量数据"。为什么不建议执行"id in 大量数据"？当我们使用"id in 大量数据"时，MySQL会将查询请求发送给服务器，
转载
2024-07-17 16:31:00
37阅读
前言： 在系统正常运作一定时间后，随着市场、产品汪的需求不断变更，比较大的一些表结构面临不得不增加字段的方式来扩充满足业务需求； 而 MySQL 在体量上了千万、亿级别数据的时候，Alter Table 的操作，可以让你等一天，而且在高峰期执行这种 SQL 让你的数据库也承担着压力。 第一时间想到的解决方案就是新建一张表，去掉索引等关联关系，然后加上需要修改的字段，接着写上 in
转载
2023-08-14 11:34:53
71阅读
目录前言一、硬件方向二、程序开发方向2.1 建议开启 rewriteBatchedStatements=true 配置项2.2 load data infile 总结前言 在开发过程中可能会遇到需要快速入库大量数据的场景。理论上来说通过批量写入应该能够快速的插入数据，但是实际过程中批量插入速度并不是很理想。接下来介绍一下优化常用的操作
转载
2023-06-27 23:24:12
205阅读
了解 Redis 的 5 种对象类型（字符串、哈希、列表、集合、有序集合）的用法和特点的基础，了解 Redis 的内存模型，对 Redis 的使用有很大帮助，例如：估算 Redis 内存使用量。内存的使用成本相对较高，使用内存不能无所顾忌；根据需求合理的评估 Redis 的内存使用量，选择合适的机器配置，可以在满足需求的情况下节约成本。优化内存占用。了解 Redis 内存模型可以选择更合适的数据类
转载
2024-07-16 18:32:41
54阅读
MySQL插入已知的1000万条数据如何快速的向数据库中插入已知的1000万条数据 假设这1000W条数据在同一个集合里，那么将这个集合进行遍历，循环1000W次，结合数据库编程技术，如JDBC，就可以插入数据库，这么简单的操作，显然不是正确答案…这样做的缺陷：1.应用服务器（程序运行所在服务器）与MySQL数据库服务器并不是同一台，当需要执行数据库操作时，会由应用服务器将SQL语句发送到MySQ
转载
2023-07-09 20:12:08
147阅读
# MySQL 处理大量数据的方法及优化
## 引言
在现代社会中，数据量的爆炸式增长已经成为了一种常态。对于数据库管理系统来说，处理大量数据是一项非常重要的任务。本文将介绍如何在 MySQL 中处理大量数据，并提供一些优化方法。
## 数据库设计和索引优化
在处理大量数据之前，首先需要进行数据库设计和索引优化。良好的数据库设计可以最大限度地减少数据冗余和数据不一致的问题，同时还能提高查询
原创
2023-09-05 10:51:32
160阅读
这几天研究mysql优化中查询效率时，发现测试的数据太少（10万级别），利用 EXPLAIN 比较不同的 SQL 语句，不能够得到比较有效的测评数据，大多模棱两可，不敢通过这些数据下定论。所以通过随机生成人的姓名、年龄、性别、电话、email、地址 ，向mysql数据库大量插入数据，便于用大量的数据测试 SQL 语句优化效率。、在生成过程中发现使用不同的方法，效率天差万别。1、先上Mysql数据库
转载
2023-10-04 19:13:38
163阅读
话不多说先贴代码/**
* 缓存工具
*/
public class ConcurrentHashMapCacheUtils{
/**
* 当前缓存个数
*/
public static Integer CURRENT_SIZE = 0;
/**
* 时间一分钟
*/
static final Long ONE_MIN
转载
2023-09-07 22:40:45
95阅读
国内篇1、SoBooks（我的最爱）SoBooks 图书下载网站是本人最喜欢的一个，它不仅书的种类齐全，而且质量也是相当的高，长期这里获取资源让我受益匪浅。下载方式也很简单，每本书都可以获取百度网盘、微盘等下载站链接，直接下载或者保存网盘即可。2、ePUBee电子书库
ePUBee电子书的类型非常的全面，而且技术类电子书质量比较高，流行的畅销书都可以在这下载到。3、鸠摩搜索
鸠摩搜索是一个书籍类的
详解MySQL大表优化方案(1)、字段(2)、索引(3)、规范查询SQL(4)、存储引擎(5)、mysql配置参数优化(6)、mysql读写分离(7)、分区和分表单表优化：当单表的数据不是一直在暴增，不建议使用拆分，拆分会带来逻辑，部署，运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常
转载
2023-08-02 13:58:41
340阅读
最近，在工作中遇到了MySQL中如何存储长度较长的字段类型问题，于是花了一周多的时间抽空学习了一下，并且记录下来。
MySQL大致的逻辑存储结构在这篇文章中有介绍，做为基本概念： InnoDB 逻辑存储结构
注：文中所指的大数据指的是长度较长的数据字段，包括varchar/varbinay/text/blob。
转载
2023-07-13 06:50:29
173阅读
