作为一名金融狗，小白我在上学的时候用的统计建模软件是R，操作最多的数据就是csv文件，导致小白在现在学习python的时候也会习惯性地把所有的数据都转成csv，然后只会用pandas.read_csv()。但其实平时咱们会经常性地需要处理excel文件，因此，学习如何用python处理excel文件是非常有必要的。python这么牛批强大的语言，自然提供了多种处理excel文件的包，小白在此只分享
转载
2024-04-19 20:48:10
37阅读
文章目录正则表达式概念运用场景python中的正则表达式常见的表达式匹配RegexObjectMatchObjectGroup匹配过程系统工具sysos 正则表达式概念匹配普通的字符串，也就是一种查询的方法一种文本的模式，在搜素文本的时候要匹配一个或者多个的字符串运用场景数据验证文本扫描文本替换文本分割贪婪匹配和非贪婪的匹配python中的正则表达式首先模块导入re（Python 自1.5版本起
转载
2024-09-18 21:39:25
64阅读
# 如何实现Python并行处理效率提升
## 流程概述
为了提高Python程序的效率，我们可以采用并行处理的方式，将任务分发给多个处理单元并同时运行，从而加速程序的执行。下面是实现Python并行处理效率提升的流程：
### 步骤表格
| 步骤 | 描述 |
| --- | --- |
| 1 | 导入必要的库 |
| 2 | 创建并行处理的任务函数 |
| 3 | 设定并发处理的数量
原创
2024-04-30 06:58:46
36阅读
(全文目录：)
开篇语
哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛
今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。
我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文
1、主要关注插入的性能优化：1）在一条insert语句中采用多重纪录插入格式.而且使用load data infile来导入大量数据，这比单纯的indert快好多.（在MYSQL中具体表现为：INSERT INTO TABLEQ VALUES (),(),...();） （还有就是在MYISAM表中插入大量记录的时候先禁用到KEYS后面再建立KEYS,具体表现语句： ALTER TABL
转载
2023-10-08 09:02:20
128阅读
文章目录Mysql 批量修改四种方式效率对比环境信息测试数据pom 依赖数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种 replace into第四种 ON DUPLICATE KEY UPDATE测试代码效率比较总结 Mysql 批量修改四种方式效率对比环境信息mysql-5.7.12mac proidea(分配最大内存2g)测试数据pom 依赖<depe
转载
2023-10-23 12:32:46
69阅读
对于MySQL中的预处理和普通查询效率进行比较，实验的结果竟然是预处理效率低于普通查询，这让我很不能接受，整理出来希望大家看看实验和实验结果究竟有没有问题，欢迎拍砖
在oracle数据库中，有一个变量绑定的用法，很多人都比较熟悉，可以调高数据库效率，应对高并发等，好吧，这其中并不包括我，当同事问我MySQL中有没有类似的写法时，我是很茫然的，于是就上网查
转载
2023-09-13 12:10:25
59阅读
一、大批量插入数据1.大批量数据插入空表，可将表设置成为MyISAM，并通过disable keys将唯一索引关闭2.大批量数据插入非空Innodb表，可采取如下措施提高效率： [1]导入数据时按照主键顺序排列; [2]导入数据前使用set UNIQUE_CHECKS=0,关闭唯一性校验，导入后恢复； &nbs
转载
2023-10-04 16:19:48
58阅读
最近在处理项目组的一个数据集，数据量每张表在百万级，由于数据量较大在数据下载和处理方面都可以说是旷日持久，这篇记录一下相关的经验。 数据下载拿到的数据是在远程数据库里面，原先打算直接从远程库里下载csv或txt到电脑上，但在mysql上进行这样的操作好像不是很方便速度也很慢。目前在使用的方法是将远程数据库里面的数据导出为sql到本地，导入本地数据库后进行操作，但这一过程也很缓慢，一个百万
转载
2023-07-09 22:59:03
61阅读
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。 经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。 1. 一条SQL语句插入多条数据。 常用的插入语句如：
转载
2024-05-16 09:08:19
83阅读
在近期工作中，数据库使用到了MySql引擎，在一次数据导入几万条数据，如果一条一条插入，必然性能不佳，顾使用到了JDBC中PreparedStatement的executeBatch方法来批量提交数据，以此提高性能，但结果让我们大吃一惊，性能不升反降，由于服务器在异地，2万条左右的数据，整整提交了20分钟，简直破我的三观，于是就开启了排查之路。rewriteBatched
转载
2024-08-22 20:40:10
93阅读
文章目录预编译预编译的好处MySQL界面执行预编译JDBC驱动执行预编译使用Statement执行预编译（了解）使用PreparedStatement执行预编译(重点掌握)未开启预编译打开预编译功能打开缓存功能注意批处理Statement批处理（了解）PreparedStatement批处理打开批处理 预编译预编译的好处Mysql数据库有预编译功能。什么是预编译功能呢？它有什么好处呢？当客户发送
转载
2023-07-04 19:54:19
133阅读
引用在数据库运维过程中，优化 SQL 是 DBA 团队的日常任务。例行 SQL 优化，不仅可以提高程序性能，还能减低线上故障的概率。目前常用的 SQL 优化方式包括但不限于：业务层优化、SQL 逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到 SQL 优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。--- 来自美团技术团队SQL 优化是一个复杂的问题，不同版本和种类的
转载
2024-07-25 16:06:28
14阅读
随着业务的蓬勃发展，我们的服务器日均访问量从年初的二三十万增加到现在的800万左右，对系统的原有架构和性能都是一个很大的挑战，所以最近对系统做了一次较大的优化升级来应对日益增长的服务器压力，对原来的业务逻辑和代码都做了重构，性能优化方面遵循了一个重要的原则：尽量减少请求与数据直接交互的次数和频度，其中一个重要的手段就是MySql批处理这次重点对文章浏览模块进行了优化，这也是目前最大的流量入口，每天
转载
2024-04-21 22:32:43
43阅读
在oracle数据库中，有一个变量绑定的用法，很多人都比较熟悉，可以调高数据库效率，应对高并发等，好吧，这其中并不包括我，当同事问我MySQL中有没有类似的写法时，我是很茫然的，于是就上网查，找到了如下一种写法： DELIMITER $$
set @stmt = 'select userid,username from myuser where userid between ? and ?'
Mysql批量插入更新性能优化对于数据量较大的插入和更新，因io/cpu等性能瓶颈，会产生大量的时间消耗，目前主流的优化主要包括预编译、单条sql插入多条数据、事务插入等，下面详细介绍一下：单条插入（Mybatis）INSERT INTO SYS_CITY (CITY_CODE, CITY_NAME, PROVINCE_NAME, ALIAS, ABBRE_PY) VALUES
(
转载
2024-08-03 19:53:09
35阅读
在用C++写一段mysql入库代码时，用的connector/c++，使用了PreparedStatement方式单条insert，然后整个插入操作放在事务中，大致如下:begintrans
PreparedStatement
for(要插入的数据集)
{
setInt、setString等填充参数
excute()
}
commit结果发现效率太低，在一台破虚拟机上每秒不到200条后来改成多值i
SpringBoot+JdbcTemplate一个配置批处理提高30倍，感觉使用起来
原创
2022-10-19 15:01:53
572阅读
# Python for循环效率提升
Python是一种简单易学、可读性强的编程语言，拥有广泛的应用领域。然而，由于其解释型语言的特性，Python在某些场景下可能会存在效率问题。在本文中，我们将重点介绍如何通过优化for循环来提升Python代码的执行效率。
## 1. for循环的基本原理
在Python中，for循环用于遍历可迭代对象（如列表、元组、字符串等），并对其中的每个元素执行相
原创
2023-08-30 11:33:40
104阅读
Python 一直以来被大家所诟病的一点就是执行速度慢，但不可否认的是 Python 依然是我们学习和工作中的一大利器。因此，我们对 Python 呢是“又爱又恨”。本文总结了一些小 tips 有助于提升 Python 执行速度、优化性能。以下所有技巧都经过我的验证，可放心食用。先上结论：使用map()进行函数映射使用set()求交集使用sort()或sorted()排序使用collections
转载
2023-08-08 15:26:01
165阅读
