前言在使用Mysql进行批量更新的时候，总会想哪一种方式效率更高，于是干脆进行了测试。先说结论：常见的四种方式有直接一条记录一个update使用case when使用replace into使用insert update duplicate on当1w条记录分10次插入时，每种方式平均用时如下(编号对应上面的记录,单位是毫秒)：1：213922：3183：2214：241当每次插入1w条，重复插入
转载
2023-08-07 11:52:28
254阅读
## 如何实现“百万级数据批量更新 MongoDB”
### 1. 流程概述
在实现百万级数据批量更新 MongoDB 的过程中，我们将使用以下步骤：
| 步骤编号 | 步骤名称 | 描述 |
| -------- | ------------------ |
原创
2023-10-14 11:27:14
413阅读
# MySQL百万级数据更新
在实际的应用程序中，经常会遇到需要对数据库中的大量数据进行更新的情况。而对于MySQL这样的关系型数据库来说，在处理百万级数据更新时，需要注意一些性能优化的手段，以保证更新操作的效率和准确性。
## 为什么需要优化百万级数据更新
当数据库中的数据量达到百万级别时，普通的数据更新操作可能会变得相当耗时。如果更新操作不经过优化，可能会导致数据库性能下降，甚至影响到系
原创
2024-06-06 06:24:51
87阅读
# Java百万级数据批量更新MongoDB
情况下使用 count(*) 进行数据总数查询包含条件(正确设置索引)运行时间正常。对于经常
转载
2023-07-31 15:12:54
98阅读
想往某个表中插入几百万条数据做下测试，原先的想法，直接写个循环10W次随便插入点数据试试吧，好吧，我真的很天真.... DROP PROCEDURE IF EXISTS proc_initData;--如果存在此存储过程则删掉
DELIMITER $
CREATE PROCEDURE proc_initData()
BEGIN
DECLARE i INT DEFAULT 1;
W
转载
2024-06-17 11:05:53
70阅读
百万级数据插入优化1. 原来程序按照主键排序再插入由于数据库插入时，需要维护索引数据，无序的数据会增大维护索引的成本。比如innodb所用的B+tree索引，如果每次插入记录都在索引的最后面，索引的定位效率很高，并且对索引调整较小；如果插入记录在索引中间，需要对B+tree进行分裂合并等处理，会消耗比较多计算资源，并且插入记录的索引定位效率会下降，数据量较大时会有频繁的磁盘操作。并且首先关闭自动提
转载
2024-04-18 14:55:48
87阅读
想必
原创
2022-11-30 15:02:05
150阅读
# Java批量更新百万数据教程
## 一、整体流程
在实现Java批量更新百万数据的过程中，一般可以分为以下几个步骤：
```mermaid
pie
title Java批量更新百万数据流程
"连接数据库" : 20
"准备SQL语句" : 15
"批量更新数据" : 40
"提交事务" : 10
"关闭连接" : 15
```
## 二、具
原创
2024-06-27 03:18:39
211阅读
# 准备 #1. 准备表 create table s1( id int, name varchar(20), gender char(6), email varchar(50), first_name char
原创
2022-06-17 06:36:29
311阅读
1、批量更新表中某个字段，如果表比较大，每条记录都执行一条update，1s执行10条数据，10万条数据就要1W秒，3个多小时。2、可以用case when 来实现，模板如下UPDATE categories SET
display_order = CASE id
WHEN 1 THEN 3
WHEN 2 THEN 4
WHEN 3 THEN
转载
2023-05-26 13:33:00
1184阅读
前言写这篇文章的目的主要是为了自己做一个总结，以及分享给可能会有需要的朋友，背景最近在项目中遇到需要从客户方的数据库中查询单表数据，然后将查询到的所有数据同步新增到我方的数据库中。目前客户方该表数据大概有500-600万条左右，之前也是没有遇到过这么大数据量大一个同步，最后经过多次的代码修改最终确定了下面的这种方式方案客户的数据库是oracle 我方的数据库是达梦 首先通过分页查询分批次的
转载
2023-06-30 17:25:39
1073阅读
