在众多编程语言中，Python的社区生态是其中的佼佼者之一。几乎所有的技术痛点，例如优化代码提升速度，在社区内都有很多成功的解决方案。本文分享的就是一份可以令 Python 变快的工具清单，值得了解下。一、序言这篇文章会提供一些优化代码的工具。会让代码变得更简洁，或者更迅速。当然这些并不能代替算法设计，但是还是能让Python加速很多倍。其实前面讲算法的文章，也有提到过。比如适用于双向队列的 de
转载
2023-08-09 14:10:22
116阅读
Twitter 工程师谈 JVM 调优 Twitter 工程师谈 JVM 调优 2016年03月24日 10:22:30 wenniuwuren https://blog.csdn.net/wenniuwuren/article/details/50969363 一. 调优需要关注的几个方面内存调优
转载
2018-12-04 11:18:00
375阅读
2评论
调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很
转载
2024-08-06 10:31:24
73阅读
1. 参数调整 每个机器学习算法包含一系列参数，勇于调整算法来控制模型。一般来说随着算法复杂度的增加，调整参数会越多，更难于理解。下面几个例子为流行的分类算法调参方法：1）逻辑回归：无2）knn：要平均的近邻数目3）决策树：划分标准、树的最大深度、划分需要的最少样本数。4）核函数SVM：核函数类型、核函数系数、惩罚参数。5）随机森林
转载
2024-01-04 07:04:24
72阅读
# Python RocksDB 调优指南
## 介绍
作为一名经验丰富的开发者，你必须了解如何实现对 Python RocksDB 的调优。在这篇指南中，我将教会你如何一步步进行这个过程。
## 流程图
```mermaid
flowchart TD
开始 --> 下载RocksDB
下载RocksDB --> 安装RocksDB
安装RocksDB --> 配置Py
原创
2024-03-19 05:38:56
48阅读
# Python WSGIServer 调优
WSGIServer 是 Python 标准库中的一部分，用于创建一个简单的 HTTP 服务器。虽然它是一个轻量级的服务器，但有时候我们还是需要对其进行调优以满足更高的性能要求。本文将介绍一些常用的调优方法，并提供代码示例。
## 1. 多线程
WSGIServer 默认是单线程的，这意味着它在处理请求时是同步的。为了提高并发处理能力，我们可以开
原创
2024-07-21 03:23:52
245阅读
1 UDP
buffer size
sysctl -a 接收 net.core.rmem_default (默认)
&nb
原创
2012-04-07 18:26:27
884阅读
1.堆内存分区在具体介绍GC调优前，先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域，是.
原创
2022-07-29 10:49:44
385阅读
1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID(进程号)
memusage 命令 （yum install glibc-utils -y）
原创
2012-04-07 18:25:21
2206阅读
HDF/NiFi优化性能的设置方法Posted on Jul 07, 2017 简介NiFi的默认设置可以满足一般的运行和测试需求，但是如果想要处理大容量数据流，那就远远不够了。本文将介绍与NiFi性能有关的几个设置参数，让NiFi可以高效运转。本文重点在如何优化初始配置或者对默认参数进行小幅修改，并不会深入讨论如何优化数据流设计和NiFi处理器。这些优化可以简单地可以通过编辑
转载
2024-04-05 22:12:20
252阅读
# Python 中 LGBMRegressor 的调优指南
LightGBM（Light Gradient Boosting Machine）是一个强大的梯度提升框架，专为高效性和灵活性而设计。它在处理大规模数据集时相较于其他模型（如XGBoost和CatBoost）表现出更高的速度和更低的内存消耗。在这篇文章中，我们将介绍如何使用 `LGBMRegressor` 并对其进行调优，以实现最佳性
原创
2024-09-16 03:29:21
162阅读
字符串
python 中的字符串对象是不可改变的，因此对任何字符串的操作如拼接，修改等都将产生一个新的字符串对象，而不是基于原字符串，因此这种持续的 copy 会在一定程度上影响 python 的性能。对字符串的优化也是改善性能的一个重要的方面，特别是在处理文本较多的情况下。
1. 在字符串连接的使用尽量使用 join() 而不是 +；当对字符串可以使用正则表达式或者内置函数来处理的时候，选择内置
Jvm调优总结 系列文章！
转载
2021-07-29 16:25:52
774阅读
待学习内容：linux 系统参数调优。 weblogic 调优。数据库调优jvm调优。
原创
2018-04-19 07:36:15
573阅读
点赞
命令mpstatpidstatvmstat查看某进程线程数的几种方法pstree -p 1388 | wc -l cat /proc/1388/status | grep Threadsps xH手册中说：H Show threads as if they were processes这样可以查看所有存在的线程。ps -mp <PID>手册中说：m Show thr
原创
2019-02-13 18:05:02
1194阅读
基于一台普通版的MySQL服务器目的：加快服务器的响应速度进程数=进程*线程1、Mysql的查询过程 1）客户端向服务器发送连接请求 2）服务器端（连接池）开辟线程响应用户请求 3）用户发起sql语句查询数据库select * from db.a; 4）查询缓存：记录用户的sql执行语句和查询结果2、加快Mysql服务器的运行速度 1）替换有问题的
原创
2016-10-04 15:50:17
2005阅读
（1）避免重复的RDD案例：valrdd1=sc.textFile("hdfs://zzy/hello.txt")rdd1.map(...)valrdd2=sc.textFile("hdfs://zzy/hello.txt")rdd2.reduce(...)这里条用了两次textFile，并且读取的是同一个文件，造成了多次的磁盘读取，如果是hi同一个文件，读取一次即可。（2）尽可能多的复用一个RD
转载
2019-01-04 10:40:18
1080阅读
(1)shuffle概述：  大多数spark作业的性能主要就是消耗了shuffle过程，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小
转载
2019-01-04 19:28:16
3005阅读
Spark调优 | Spark Streaming 调优1、数据序列化2、广播大变量3、数据处理和接收时的并行度4、设置合理的批处理间隔5、内存优化5.1 内存管理5.2优化策略5.3垃圾回收（GC）优化5.5Spark Streaming 内存优化6、实例项目调优6.1合理的批处理时间（batchDuration）6.2合理的 Kafka 拉取量（maxRatePerPartition 参数设置...
转载
2021-06-01 12:16:08
789阅读
文章目录垃圾回收调优1. 调优领域2. 确定目标3. 最快的gc是不发生gc4. 新生代调优5. 老年代调优 垃圾回收调优1. 调优领域内存锁竞争cpu占用io2. 确定目标如果应用程序主要做科学运算，那么追求【高吞吐量】 如果做互联网项目 追求【低延迟】 提升用户体验 然后选择合适的回收器。 追求高吞吐量：ParallelGC 响应时间优先：CMS（jdk9不推荐，推荐G1）,G1,ZGC（目
转载
2024-08-14 20:40:24
111阅读
