介绍正则表达式在应用过程中对性能的影响，通过案例分析通过多种模式的组合方式对正则模型的性能提高的过程
原创
精选
2018-12-13 21:20:10
6549阅读
点赞
在众多编程语言中，Python的社区生态是其中的佼佼者之一。几乎所有的技术痛点，例如优化代码提升速度，在社区内都有很多成功的解决方案。本文分享的就是一份可以令 Python 变快的工具清单，值得了解下。一、序言这篇文章会提供一些优化代码的工具。会让代码变得更简洁，或者更迅速。当然这些并不能代替算法设计，但是还是能让Python加速很多倍。其实前面讲算法的文章，也有提到过。比如适用于双向队列的 de
转载
2023-08-09 14:10:22
116阅读
1、架构层面调优
1）、主从复制：（读写分离） 2）、集群模式 3）、分库分表：
A、分库：把db分为按分布式来划分几个db来执行
B、分表：
B1 、水平分表：一年的数据量大，就按月份来分表
B2、垂直分表：一个表的有流水号，存放图片，其中存放图片的字段超大，这时可以把图片字段切分出
原创
精选
2022-08-26 16:26:14
873阅读
点赞
Spark调优系列之序列化方式调优 浪尖 浪尖聊大数据由于大多数的spark计算是基于内存的的天性，spark应用的瓶颈一般受制于集群的CPU，网络带宽，内存。大部分情况下，如果内存适合当前数据量的计算，那么瓶颈往往就是带宽，但是有时候我们也需要进行一些调优比如序列化，来减少内存的使用。调优系列目前主要会更新两个主题：数据序列化，这点对于网络带宽调优和减少内存是至关重要的；另一种是内存调优。当然，
原创
2021-03-16 17:55:29
257阅读
本文主要是spark调优系列之序列化调优。
原创
2021-07-27 10:30:14
589阅读
考试整理相关笔记博文内容涉及Linux 虚拟化常见管理操作以及部分调优配置理解不足小伙伴帮忙指正不必太纠结于当下，也不必
原创
2024-03-01 10:40:53
139阅读
Twitter 工程师谈 JVM 调优 Twitter 工程师谈 JVM 调优 2016年03月24日 10:22:30 wenniuwuren https://blog.csdn.net/wenniuwuren/article/details/50969363 一. 调优需要关注的几个方面内存调优
转载
2018-12-04 11:18:00
375阅读
2评论
我们都知道在优化问题上，我们除了需要最小化训练误差,例如通过square loss，log loss，exp loss等，我们还需要同事兼顾模型的泛化性能，因此我们需要通过添加正则项来进行提高模型的泛化性能，同时添加上的正则项也能够帮助我们来减少测试上的误差，从而提高推荐上的效果(precision)。1 L0范数与L1范数：稀疏我们的目标参数(一般表示为W)的，不言而喻，当我们的参数矩阵
转载
2024-03-04 16:37:36
98阅读
1. 参数调整 每个机器学习算法包含一系列参数，勇于调整算法来控制模型。一般来说随着算法复杂度的增加，调整参数会越多，更难于理解。下面几个例子为流行的分类算法调参方法：1）逻辑回归：无2）knn：要平均的近邻数目3）决策树：划分标准、树的最大深度、划分需要的最少样本数。4）核函数SVM：核函数类型、核函数系数、惩罚参数。5）随机森林
转载
2024-01-04 07:04:24
72阅读
调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很
转载
2024-08-06 10:31:24
73阅读
# Python WSGIServer 调优
WSGIServer 是 Python 标准库中的一部分，用于创建一个简单的 HTTP 服务器。虽然它是一个轻量级的服务器，但有时候我们还是需要对其进行调优以满足更高的性能要求。本文将介绍一些常用的调优方法，并提供代码示例。
## 1. 多线程
WSGIServer 默认是单线程的，这意味着它在处理请求时是同步的。为了提高并发处理能力，我们可以开
原创
2024-07-21 03:23:52
245阅读
# Python RocksDB 调优指南
## 介绍
作为一名经验丰富的开发者，你必须了解如何实现对 Python RocksDB 的调优。在这篇指南中，我将教会你如何一步步进行这个过程。
## 流程图
```mermaid
flowchart TD
开始 --> 下载RocksDB
下载RocksDB --> 安装RocksDB
安装RocksDB --> 配置Py
原创
2024-03-19 05:38:56
48阅读
服务化性能调优前置准备完成MindIE环境的安装，参考链接下载好要调优的模型权重下载好性能测试数据集调优流程下面以Llama3-8B为例，讲解调优全流程1.查看模型权重大小Llama3-8B权重为15GB2.计算npuMemSize计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8单卡空闲显存：61GB
空闲占用：约3GBnpuMemSize = Floo
1 UDP
buffer size
sysctl -a 接收 net.core.rmem_default (默认)
&nb
原创
2012-04-07 18:26:27
884阅读
1.堆内存分区在具体介绍GC调优前，先复习下JVM内存结构中的堆堆是JVM内存区域中所占空间最大的内存区域，是.
原创
2022-07-29 10:49:44
385阅读
1 查看
less /proc/PID/status
less /proc/PID/statm
pmap PID(进程号)
memusage 命令 （yum install glibc-utils -y）
原创
2012-04-07 18:25:21
2206阅读
HDF/NiFi优化性能的设置方法Posted on Jul 07, 2017 简介NiFi的默认设置可以满足一般的运行和测试需求，但是如果想要处理大容量数据流，那就远远不够了。本文将介绍与NiFi性能有关的几个设置参数，让NiFi可以高效运转。本文重点在如何优化初始配置或者对默认参数进行小幅修改，并不会深入讨论如何优化数据流设计和NiFi处理器。这些优化可以简单地可以通过编辑
转载
2024-04-05 22:12:20
255阅读
# Python 中 LGBMRegressor 的调优指南
LightGBM（Light Gradient Boosting Machine）是一个强大的梯度提升框架，专为高效性和灵活性而设计。它在处理大规模数据集时相较于其他模型（如XGBoost和CatBoost）表现出更高的速度和更低的内存消耗。在这篇文章中，我们将介绍如何使用 `LGBMRegressor` 并对其进行调优，以实现最佳性
原创
2024-09-16 03:29:21
170阅读
字符串
python 中的字符串对象是不可改变的，因此对任何字符串的操作如拼接，修改等都将产生一个新的字符串对象，而不是基于原字符串，因此这种持续的 copy 会在一定程度上影响 python 的性能。对字符串的优化也是改善性能的一个重要的方面，特别是在处理文本较多的情况下。
1. 在字符串连接的使用尽量使用 join() 而不是 +；当对字符串可以使用正则表达式或者内置函数来处理的时候，选择内置
Jvm调优总结 系列文章！
转载
2021-07-29 16:25:52
774阅读
