在众多编程语言中，Python的社区生态是其中的佼佼者之一。几乎所有的技术痛点，例如优化代码提升速度，在社区内都有很多成功的解决方案。本文分享的就是一份可以令 Python 变快的工具清单，值得了解下。一、序言这篇文章会提供一些优化代码的工具。会让代码变得更简洁，或者更迅速。当然这些并不能代替算法设计，但是还是能让Python加速很多倍。其实前面讲算法的文章，也有提到过。比如适用于双向队列的 de
转载
2023-08-09 14:10:22
116阅读
# Python LGBM调参指南
## 简介
本文将向您介绍如何使用Python中的LightGBM（LGBM）库进行调参，以提高模型的性能。如果您是一名刚入行的小白，不要担心，我们将一步步教会您实现Python LGBM调参的过程。
### 步骤概述
首先，让我们来看一下整个调参的流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 数据准备 |
| 2 | 初步建
原创
2024-07-13 07:50:13
105阅读
前面的文章已经介绍了JVM对象创建时的内存分配、类加载机制以及垃圾收集等核心的内容，对JVM的内存模型基本有了比较完整的了解。但这些都只是理论，当程序运行遇到问题时，更多的时候是需要根据现象然后结合理论才能做出合理的判断。而JDK就提供了很多的工具来帮助开发人员获取程序运行时的各种数据，包括异常堆栈、JVM运行日志、GC日志、线程快照文件、堆转储快照文件等等。这篇文章就借助部分常用工具，结合具体的
转载
2024-06-07 12:28:55
31阅读
# 实现Python LGBM模型部署指南
## 一、流程概述
为了实现Python LGBM模型的部署，我们需要完成以下步骤：
| 步骤 | 描述 | 代码示例 |
| ---- | ----------------- | ------------------------------ |
| 1 | 数据准备
原创
2024-03-29 05:41:19
246阅读
一、JVM调优介绍之JTI编译器 JTI编译器（just in time）开发语言可以以编译方式来划定为编译型语言，解释型语言，分层编译型语言(包含解析和编译共存）先来了解下计算机如何读取代码程序，由于计算机的CPU只能执行相对少而特定的命令，而这种命令的形式就是汇编码或者二进制码。因此CPU所执行的程序都要翻译成这种指令，CPU才可以识别 并且运行。不同产商的CPU对应可以识别的指令集也不太一
转载
2024-08-28 22:06:46
75阅读
文章目录一、调优工具1、explain2、analyze二、优化设计三、配置优化1、设置本地模式2、JVM重用3、并行执行四、查询优化1、自动启动Map端的join2、启用CBO(Cost based Optimizer):负载均衡3、启用Vectorization(矢量化)4、使用CTE、临时表、窗口函数等正确的编码约定五、压缩 一、调优工具1、explainexplain 查询语句;由于Hi
转载
2023-10-24 09:03:03
107阅读
Jvm调优总结 系列文章！
转载
2021-07-29 16:25:52
774阅读
一、背景（1）、随着微服务架构的逐渐推广，一个大型的单个应用程序被拆分为数个微服务系统，这为研发人员的本地调试跟踪带来困难 （2）、在微服务架构中，由于业务的复杂性，常常一个业务流程涉及好数个微服务系统的调用，性能排查时到底因为哪个微服务系统的性能瓶颈从而导致整个业务性能的瓶颈，不好定位 因此，下面为大
转载
2024-07-10 15:29:19
80阅读
XGB和LGB区别：1、直方图优化，对连续特征进行分桶，在损失了一定精度的情况下大大提升了运行速度，并且在gbm的框架下，基学习器的“不精确”分箱反而增强了整体的泛化性能；（XGB也提出了类似的近似分位数算法，对特征进行分桶，即找到l个划分点，将位于相邻分位点之间的样本分在一个桶中。在遍历该特征的时候，只需要遍历各个分位点，从而计算最优划分。从算法伪代码中该流程还可以分为两种，全局的近似是在新生成
参数调优往往是数据挖掘和分析中至关重要的一步，一组好的参数能够使模型的预测或者分类更加的准确，使得模型能够完美的刻画数据的规律，在python中的sklearn中主要有两种参数调优的方法，分别为网格搜索法和随机搜索方法，下面分别介绍两种算法的核心思想： 1、网格搜索法-GridSearchCV 网格
转载
2019-05-27 02:43:00
466阅读
2评论
前序文章：JVM性能调优（1） —— JVM内存模型和类加载运行机制JVM性能调优（2） —— 垃圾回收器和回收策略JVM性能调优（3） —— 内存分配和垃圾回收调优一、JDK工具先来看看有哪些常用的工具可以辅助我们进行性能调优和问题排查，后面再通过一个具体的示例结合工具来分析调优。1、JDK工具JDK自带了很多性能监控工具，我们可以用这些工具来监测系统和排查内存性能问题。2、利用 jps 找出进
转载
2024-01-14 08:07:01
134阅读
下面主要是笔者根据使用Spark过程中的一些调优做一些汇总。1、调整分配excutor memory-num-executors 100 --executor-cores 4 --driver-memory 6g --executor-memory 6g首先先将参数调大一点，然后程序跑通过后。再通过Spark任务的监控页面看资源使用的情况。再来调整各项目参
转载
2023-08-29 16:31:49
39阅读
图的两个基本特性： 一是每个节点都有自己的特征信息。 二是图谱中的每个节点还具有结构信息。 在图数据里面，我们要同时考虑到节点的特征信息以及结构信息，如果靠手工规则来提取，必将失去很多隐蔽和复杂的模式，那么有没有一种方法能自动化地同时学到图的特征信息与结构信息呢？——图卷积神经网络--------一种能对图数据进行深度学习的方法。 一、1.邻接矩阵，特征矩阵，卷积神经网络，度矩阵边信息和点信息的转
转载
2024-07-15 13:39:26
63阅读
1 基本概念准备1.1 协方差反应两个变量之间线性相关的强度，记为Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))] 关于协方差的特性:若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远若协方差为正, 则两变量x,y都倾向于取较大值, 若协方差为负, 则一个倾向于取较大值,另一个倾向取较小值 相关系数: 将每个变量归一化,
一、结论使用id类特征效果很好，很重要dropout对模型性能影响较大dnn层数对模型性能影响大同样数据特征的情况下，deepfm比lr在AUC（ROC）的效果好0.02～0.03只使用id类特征（用户id，物品id）比使用全部特征（包含用户id，物品id）的AUC值差0.005左右，但是训练速度和预测速度大幅度提升。二、应用场景2.1 指标选择应用deepfm和lr模型的目的是给召回阶段的候选集
在ML中一个重要的任务就是模型选择，或者使用给定的数据为给定的任务寻找最适合的模型或参数。这个过程又称调优。调优可以是对单个阶段进行调优，也可以一次性对整个Pipeline进行调优。MLlib支持使用类似CrossValidator和TrainValidationSplit这样的工具进行模型选择。这些工具需要以下组件:Estimator:用户调优的算法或Pipeline。ParamMap集合:
转载
2024-07-18 22:34:49
49阅读
随着深度学习在推荐系统中的应用，embedding成为绕不开的话题。无论是召回还是排序阶段，均应用到embedding技术。目前已经有很多文章在讨论item的embedding如何生成，本文希望讨论user embedding生成的几种方法，欢迎大家补充和讨论。Item2Vec+Pooling在word2vec提出后，给向量化学习提供了很好的思路。微软于2016年提出item2vec
转载
2024-09-02 12:27:53
54阅读
1、读取数据文件回归分析问题所用的数据都是保存在数据文件中的，首先就要从数据文件读取数据。数据文件的格式很多，最常用的是 .csv，.xls 和 .txt 文件，以及 sql 数据库文件的读取 。 Python数模笔记-PuLP库Python数模笔记-StatsModels统计回归Python数模笔记-SklearnPython数模笔记-NetworkXPython数模笔记-模拟退火算法使用 pa
转载
2024-01-04 12:40:56
88阅读
标题@[TOC]我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；全新的 KaTeX数学公式 语法；增加了
引言关于XGBoost你需要知道什么目录XGBoost优势是什么了解XGBoost参数有哪些普遍意义的参数提升器Booster参数在每一步中引导单个的加速器Booster树回归带有学习任务的参数指导优化的过程在实例中使用XGBoost并调参参数调优的一般方法Step 1 Fix learning rate and number of estimators for tuning tree-base
