作者介绍韩锋，宜信技术研发中心数据库架构师。精通多种关系型数据库，曾任职于当当网、TOM在线等公司，曾任多家公司首席DBA、数据库架构师等职，多年一线数据库架构、设计、开发经验。著有《SQL优化最佳实践》一书。 引言
优化SQL，是DBA常见的工作之一。如何高效、快速地优化一条语句，是每个DBA经常要面对的一个问题。在日常的优化工作中，我发现有很多操作是在
英文 | https://javascript.plainenglish.io/understand-es6-in-20-minutes-8ab8f958e379了解 ES6根据维基百科解释“ECMAScript 规范是由 Netscape 的 Brendan Eich 开发的脚本语言的标准化规范；最初命名为 Mocha，然后是 LiveScript，最后是 JavaScript。”ECMAScr
转载
2024-07-29 20:38:32
52阅读
# 提高Python写入MySQL的速度
## 流程图
```mermaid
flowchart TD;
A(连接数据库) --> B(创建表格);
B --> C(准备数据);
C --> D(使用批量插入);
D --> E(关闭连接);
```
## 类图
```mermaid
classDiagram
class Database {
原创
2024-04-22 04:42:08
63阅读
我们知道读取，创建，然后运行再运行数据文件，而且当数据文件非常多的时候，整一个过程是非常消耗时间的。那么有没有什么办法可以解决呢。这篇文章将会介绍几个技巧，希望能帮助你节省这些耗费的时间。循环访问目录中的文件如果我们要像这样读取和处理多个数据：├── data│ ├── data1.csv│ ├──
转载
2023-12-25 13:34:24
107阅读
在 MySQL 中，向数据表插入数据时，索引、唯一性检查、数据大小是影响插入速度的主要因素。本节将介绍优化插入数据速度的几种方法。 根据不同情况，可以分别进行优化。 对于 MyISAM 引擎的表，常见的优化方法如下：1. 禁用索引对非空表插入数据时，MySQL 会根据表的索引对插入的记录进行排序。插入大量数据时，这些排序会降低插入数据的速度。为了解决这种情况，可以在插入数据之前先禁用索引，等到数据
转载
2023-11-19 16:13:19
86阅读
最近项目中使用到了Sqlite3来保存结果数据，大约100万条数据，插入到sqlite数据库中竟然耗时5分钟，这在真个数据处理流程中占用了太多的时间，是不可接受的，那么如何优化sqlite的写数据的性能呢？优化方式通过查阅资料和其他大牛们的博客，确定有几个点可以尝试：关闭写同步，PRAGMA synchronous = OFF，在 sqlite3 中 synchronous 有三种模式，分别是 F
转载
2023-12-10 15:51:36
77阅读
# 提升Java程序中Mysql数据写入速度的方法
在开发Java程序时，我们经常需要将数据写入Mysql数据库。然而，数据写入是一个相对耗时的操作，尤其在大量数据需要写入时，速度往往会成为一个瓶颈。为了提高程序的性能，我们需要思考如何加快Mysql数据写入的速度。本文将分享一些方法来提升Java程序中Mysql数据写入的速度，并给出示例代码来说明这些方法的具体实现。
## 使用批量插入
在
原创
2024-04-12 05:19:57
81阅读
1.对查询进行优化，应尽量避免全表扫描。首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值推断，否则将导致引擎放弃使用索引而进行全表扫描。如：select id from t where num is null能够在num...
转载
2016-01-03 19:51:00
251阅读
2评论
你的 SQL 语句为什么变“慢”了？在前面文章《一条 SQL 更新语句是如何执行的？》中，InnoDB 在处理更新语句的时候，只做了写日志的磁盘操作，这个日志为redo log（重做日志）。当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页”。内存数据写入到磁盘后，内存和磁盘上的数据页的内容就一致了，称为“干净页”。不论是脏页还是干净页，都在内存中。答案：SQL 慢的原因，有可能就
转载
2023-09-21 09:00:20
87阅读
问题背景：有一批需要处理的文件，对于每一个文件，都需要调用同一个函数进行处理，相当耗时。有没有加速的办法呢？当然有啦，比如说你将这些文件分成若干批，每一个批次都调用自己写的python脚本进行处理，这样同时运行若干个python程序也可以进行加速。有没有更简单的方法呢？比如说，我一个运行的一个程序里面，同时分为多个线程，然后进行处理？大概思路:将这些个文件路径的list，分成若干个，至于分成多少，
转载
2024-07-05 07:59:54
69阅读
1.建分区表的话, 要看你有几个磁盘.
如果只有一个磁盘的, 分区来分区去, 最后数据还是在 一个磁盘上面,
如果你有多个磁盘的.
那么可以根据那个 自增 ID , 设置一个 计算列
比如你有5个 磁盘， 那么 那个计算列 是 自增 ID % 5
那么 当 计算列的数值 = 1 ， 数据被存储到 磁盘1上面
那么 当 计算列的数值 = 2 ， 数据被存储到 磁盘2上面
那么 当 计
转载
2024-04-17 12:06:16
70阅读
`wget -O install\_panel.sh https://download.bt.cn/install/0/loongarch64/loongarch64\_install\_panel.sh && bash install\_panel.sh ed8484bec`万能安装脚本`if [ -f /usr/bin/curl ];then curl -sSO https:/
# 解决MySQL数据库写入速度慢的方法
在实际的应用中，我们经常会遇到MySQL数据库写入速度慢的情况。这可能是由于数据库表设计不当、索引缺失、硬件性能不足等原因造成的。针对这种情况，我们可以通过一些方法来提高MySQL数据库的写入速度，提高系统的性能和稳定性。
## 数据库表设计优化
数据库表设计是影响写入速度的重要因素之一。一个合理的数据库表设计可以减少数据库操作的开销，提高写入速度。
原创
2024-07-01 03:37:44
118阅读
# 提高 MySQL 数据库写入速度的指南
在数据库开发中，性能优化是一个常见的需求。而提高 MySQL 数据库的写入速度，是保证系统高效运行的一项重要任务。对于刚入行的小白开发者来说，这项任务可能会有些棘手，因此本文将为你提供详尽的步骤、代码示例以及相关的理解。
## 整体流程
以下是提高 MySQL 数据库写入速度的整体流程概述：
| 步骤 | 描述 |
|------|------|
原创
2024-08-02 07:27:18
130阅读
1、选取合适的字段属性 MySQL支持大数据的储存，但是一般来说，数据库中的表越小查询速度越快，所以在建表的时候尽量将表的宽度设小，另一个就是在尽可能的情况下把字段设置为NOTNULL2、使用连接（JOIN）来代替子查询(Sub-Queries) MySQL从4.1开始就支持SQL子查询，他可以使用SELECT语句来创建一个单列的查询结果，然后将这个结果作为过滤条件用在另一个查询中比如SELRCT
转载
2024-09-22 10:08:41
114阅读
#!/usr/bin/python3
import pymysql
# 打开数据库连接
db = pymysql.connect("localhost","testuser","test123","TESTDB" )
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# 使用 execute() 方法执行 SQL，如果表存在则
转载
2023-06-12 22:45:37
77阅读
查询速度慢的原因很多，常见如下几种： 1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 2、I/O吞吐量小，形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足 5、网络速度慢 6、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量） 7、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷) 8、sp_lock,sp_who,活动的
转载
精选
2015-12-06 11:48:08
1041阅读
建分区表的话, 要看你有几个磁盘.
如果只有一个磁盘的, 分区来分区去, 最后数据还是在 一个磁盘上面,
如果你有多个磁盘的.
那么可以根据那个 自增 ID , 设置一个 计算列
比如你有5个 磁盘， 那么 那个计算列 是 自增 ID % 5
那么 当 计算列的数值 = 1 ， 数据被存储到 磁盘1上面
那么 当 计算列的数值 = 2 ， 数据被存储到 磁盘2上面
那么 当 计算列
转载
2023-12-14 06:11:26
147阅读
通常来说，在MyISAM里读写操作是串行的，但当对同一个表进行查询和插入操作时，为了降低锁竞争的频率，根据concurrent_insert的设置，MyISAM是可以并行处理查询和插入的：当concurrent_insert=0时，不允许并发插入功能。当concurrent_insert=1时，允许对没有洞洞的表使用并发插入，新数据位于数据文件结尾（缺省）。当concurrent_in
转载
2024-02-02 12:55:31
62阅读
硬件调整性能 1、最有可能影响性能的是磁盘和网络吞吐量，解决办法就是扩大虚拟内存，以此来保证有足够扩充的空间； 2、把数据库服务器上的不必要的服务关闭； 3、把数据库服务器和主域服务器分开； 4、把SQL数据库服务器的吞吐量调整到最大； 5、 在具有一个以上处理器的机器上运行SQL。调整数据库结构 若对某些特定的表进行查询频率高的，可以适当建立索引，建立索引时，按照where选择条件建
转载
2024-06-03 15:15:07
170阅读
