类型转换ConversionService 是 Spring 类型转换体系的核心接口。 • 可以利用 ConversionServiceFactoryBean 在 Spring 的 IOC 容器中定义一个 ConversionService. Spring 将自动识别出IOC 容器中的 ConversionService，并在 Bean 属性配置及Spring MVC 处理方法入参绑定等场合使用它
转载
2024-04-11 14:02:55
53阅读
前言最近公司在使用 ABP 重构之前的老项目，数据库也由 SQL SERVER 切换到了 MySql。吐槽一下，之前的产品使用的是 Windows Server 2008 , SqlServer 2008R2, .Net Framework 4.5，现在开始拥抱 .net core。回到正题。目前单表有 10w+，100w+ 数据不等，等会都测试一下。数据库切换，以及数据库表结构变化，不可以避免的
转载
2020-06-29 13:21:00
421阅读
2评论
点击下方公众号「关注」和「星标」回复“1024”获取独家整理的学习资料！背景上个月跟朋友一起做了个微信小程序，趁着5.20节日的热度，两个礼拜内迅速积累了一百多万用户，我们在小程序页面增加...
原创
2021-06-23 16:08:25
504阅读
问题背景上个月跟朋友一起做了个微信小程序，趁着元旦放假的热度，两个礼拜内迅速积累了一百多万用户，我们在小程序页面增加了收集formid的埋点，用于给微信用户发送模板消息通知。这个小程序一开...
转载
2022-03-14 11:16:21
302阅读
背景上个月跟朋友一起做了个小程序，趁着5.20节日的热度，两个礼拜内迅速积累了一百多万用户，我们在小程序页面增加...
转载
2022-04-07 11:44:54
305阅读
最近修改了一个导出员工培训课程的历史记录（一年数据），导出功能本来就有的，不过前台做了时间限制（只能选择一个月时间内的），还有一些必选条件， 导出的数据非常有局限性。心想：为什么要做出这么多条件限制呢？条件限制无所谓了，能限制导出数据的准确性，但是时间？ 如果我想导出一年的数据，还要一月一月的去导出，这也太扯了。于是我试着放开时间js限制，让用户自己随便选好了，然后自己选了一段时间，选了几门课程，
转载
2024-02-15 14:40:40
96阅读
# Java百万级数据库表迁移
在现代软件开发中，数据库表的迁移是一个常见的任务。当我们需要将一个数据库中的数据迁移到另一个数据库中时，我们通常会使用一些工具或脚本来完成这个任务。在这篇文章中，我们将介绍如何使用Java来实现一个百万级数据库表的迁移，并提供相关的代码示例。
## 数据库表迁移的挑战
在进行数据库表迁移时，我们常常会面临一些挑战。其中最主要的挑战是数据量的大小。当数据量较大时
原创
2024-06-05 07:11:18
116阅读
一、Java 通过hutool工具类ExcelWriter 导出运用到多线程分页查询这个采用的是Java的utool工具类ExcelWriter 导出踩过一些坑，尽量用一条sql 将所有数据查询出来，否则再循环时查询会随着表数据的增大查询速度会成倍增加，所以建议用一条sql把查询出结果。实测21列1.1w 多条数据查询 4067ms左右。还可以进一步优化。1.大量数据导出，先调整一下前端请求的re
转载
2024-02-27 12:11:38
377阅读
先了解下excel版本区别 excel2003excel2007及以上后缀.xls.xlsx结构二进制格式xml数据结构特点存储容量有限xml压缩，占用空间小，操作效率高 可以看到2007及以上版本为xml数据结构，对后续海量数据处理起到关键作用。apachePoi官方对excel2007使用xssf对象，可以分为三种模式：用户模式：有很多封装的方法，但非常耗内存事件模式：基于
转载
2024-07-12 15:12:02
61阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：&nbs
转载
2023-09-16 07:20:25
159阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t wh
转载
2023-08-08 19:51:46
332阅读
万级别的数据真的算不上什么大数据，但是这个档的数据确实考核了普通的查询语句的性能，不同的书写方法有着千差万别的性能，都在这个级别中显现出来了，它不仅考核着你sql语句的性能，也考核着程序员的思想。 公司系统的一个查询界面最近非常慢，界面的响应时间在6-8秒钟时间，甚至更长。检查发现问题出现在数据库端，查
转载
2023-12-10 10:47:18
120阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is nul 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from
转载
2023-09-24 08:52:25
88阅读
我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作。记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟。现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号，怎么能这么快呢， 于是找到了互联网现在对数据处理的发展。 对于大数据量处理，如果是互联网处理的话，一般分为下面阶段：第一阶段，所有数据都装入一个数据库，当数据量大了肯定
转载
2024-05-16 10:22:09
129阅读
# MongoDB 百万级数据：高效管理与查询
MongoDB 是一种广泛使用的 NoSQL 文档数据库，其灵活性和扩展性使其在处理大量数据时表现优异。在这篇文章中，我们将探讨如何利用 MongoDB 管理百万级别的数据，并给出代码示例来帮助理解。
## 什么是 MongoDB？
MongoDB 是一个文档导向的数据库系统，其存储的数据以 JSON 类似的 BSON (Binary JSON
原创
2024-10-12 06:42:45
71阅读
最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。咋一看，这个需求挺简单的。但如果我告诉你，导出的记录条数，可能有一百多万，甚至两百万呢？这时你可能会倒吸一口气。因为你可能会面临如下问题：如果同步导数据，接口很容
转载
2024-01-31 01:24:55
122阅读
Excel百万级数据导入导出方案本文使用EasyExcel工作，导出格式XLSX1.生成测试数据这里用到的是MYSQL 5.7.31 创建表语句CREATE TABLE `ACT_RESULT_LOG` (
`onlineseqid` int(11) NOT NULL AUTO_INCREMENT,
`businessid` varchar(32) COLLATE utf8mb4_unic
转载
2024-08-23 14:17:28
79阅读
mysql 作为一款非常优秀的免费数据库被广泛的使用，平时我们开发的项目数据过百万的时候不多。最近花了大量的时间来深入的研究mysql百万级数据情况下的优化。 遇到了很多问题并解决了他们，特此分享给大家。欢迎提出您的宝贵意见！一、百万级数据msql测试环境介绍mysql 在300万条数据(myisam引擎)情况下使用 count(*) 进行数据总数查询包含条件(正确设置索引)运行时间正常。对于经常
转载
2023-07-31 15:12:54
98阅读
想往某个表中插入几百万条数据做下测试，原先的想法，直接写个循环10W次随便插入点数据试试吧，好吧，我真的很天真.... DROP PROCEDURE IF EXISTS proc_initData;--如果存在此存储过程则删掉
DELIMITER $
CREATE PROCEDURE proc_initData()
BEGIN
DECLARE i INT DEFAULT 1;
W
转载
2024-06-17 11:05:53
70阅读
通过存储过程插入如果我们想简单快速的插入大批量数据，存储过程是个不错的选择，下面这个存储过程，是我向表xxx_audit_order中插入100万条数据，耗时25秒左右，这里建议：1.插入数据前先把表中的索引去掉，数据插入完成之后，再创建索引2.关闭事务的自动提交以上两点对提高速度很有帮助，因为索引的维护以及每次插入都提交事务是很耗时间 use test_db;
DROP P
转载
2023-06-05 14:58:08
209阅读
