LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。背景常用的机器学习算法，例如神经网络等算法，都可以以mini-batch的方式训练，训练数据的大小不会受到内存限制。而GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。
转载
2024-08-10 10:57:38
877阅读
图的两个基本特性： 一是每个节点都有自己的特征信息。 二是图谱中的每个节点还具有结构信息。 在图数据里面，我们要同时考虑到节点的特征信息以及结构信息，如果靠手工规则来提取，必将失去很多隐蔽和复杂的模式，那么有没有一种方法能自动化地同时学到图的特征信息与结构信息呢？——图卷积神经网络--------一种能对图数据进行深度学习的方法。 一、1.邻接矩阵，特征矩阵，卷积神经网络，度矩阵边信息和点信息的转
转载
2024-07-15 13:39:26
63阅读
1 基本概念准备1.1 协方差反应两个变量之间线性相关的强度，记为Cov(f(x),g(x))= E[(f(x)-E[f(x)])(g(x)-E(g(x)))] 关于协方差的特性:若协方差绝对值很大, 则变量值得变化很大, 且相距各自均值很远若协方差为正, 则两变量x,y都倾向于取较大值, 若协方差为负, 则一个倾向于取较大值,另一个倾向取较小值 相关系数: 将每个变量归一化,
# 实现Python LGBM模型部署指南
## 一、流程概述
为了实现Python LGBM模型的部署，我们需要完成以下步骤：
| 步骤 | 描述 | 代码示例 |
| ---- | ----------------- | ------------------------------ |
| 1 | 数据准备
原创
2024-03-29 05:41:19
246阅读
前言在前两篇博客中， 我们分别讲述了消息传递算法的来龙去脉 和 利用 高斯及泰勒展开近似得到的最大后验估计的GAMP版本。 这一篇博客，我们使用类似的推导，整理了在实际中可能更常用的， MMSE 最小均方误差估计版本的 GAMP 算法。模型背景我们旨在解决上图这样的问题， 已知输入 （先验信息）， 已知输出 （后验信息)， 已知变换矩阵， 反推出变量。 以AWGN信道举例：已知而我们试图反推出。
预备知识：GDBT1)对所有特征都按照特征的数值进行预排序。 2)在遍历分割点的时候用O(#data)的代价找到一个特征上的最好分割点。 3)找到一个特征的分割点后，将数据分裂成左右子节点。LightGBMLightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 ●训练时样本点的采样优化：保留梯度较大的样本 ●特征维度的优化：
XGB和LGB区别：1、直方图优化，对连续特征进行分桶，在损失了一定精度的情况下大大提升了运行速度，并且在gbm的框架下，基学习器的“不精确”分箱反而增强了整体的泛化性能；（XGB也提出了类似的近似分位数算法，对特征进行分桶，即找到l个划分点，将位于相邻分位点之间的样本分在一个桶中。在遍历该特征的时候，只需要遍历各个分位点，从而计算最优划分。从算法伪代码中该流程还可以分为两种，全局的近似是在新生成
LightGBM(LGBM)是一个开源的梯度提升库，在机器学习开发者中得到了极大的欢迎和喜爱。目前，它已经成为Kaggle竞赛的首选库之一，正是因为它在训练模型过程中速度和准确度方面具有非常优秀的表现。LightGBM的性能优势是它对数据进行采样（GOSS —Gradient-based One-Sided Sampling）并减少训练期间稀疏数据集中的特征数量（EFB — Exclusive F
转载
2024-03-26 15:50:57
1281阅读
标题@[TOC]我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；全新的 KaTeX数学公式 语法；增加了
项目背景：组里的几个同学最近在开发一个系统模拟器，当模拟20w节点在线的时候，发现有一个组件log_generator占用CPU特别严重，经常出现占用的CPU超过120%的情况。该组件使用的是多线程模型，所以虽然机器CPU是4核的，也无法利用其它CPU分担负载。考虑到我们下阶段的目标是模拟100w节点同时在线，现在的模拟器性能肯定无法满足要求，所以必须对该模拟器进行性能调优。熟悉代码：为了解决这个
# Python LGBM模型传入类别特征的实现
在机器学习中，类别特征的处理是一个重要的步骤。LightGBM（LGBM）是一种高效的梯度提升框架，能够处理大型数据集，并且支持类别特征的直接输入。本文将详细介绍如何在Python中使用LGBM模型传入类别特征，帮助您更好地理解和实现这一过程。
## 实现流程
下面的表格展示了实现LGBM模型传入类别特征的主要步骤：
| 步骤 | 描述
前言刚开始接触机器学习的时候，了解比较多的还是回归问题，但其实实际生活中，更多的是分类问题，例如人脸识别、目标识别、过滤垃圾邮件等等。而logistics可以说是最简单的分类算法。sigmoid函数sigmoid函数又称logistics函数，如图呈现s形，sigmoid可以将线性回归函数值映射到区间 ( 0,1 ) ，作为概率输出，大于或等于0.5判为正类，小于0.5判为父类。那么又有疑问了？那
# 导入必要的库
import logging
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_a
原创
2024-08-02 14:12:43
86阅读
说明：这是一个机器学习实战项目（附带数据+代码+文档+代码讲解），如需数据+代码+文档+代码讲解可以直接到文章最后获取。1.项目背景 如今已是大数据时代，具备大数据思想至关重要，人工智能技术在各行各业的应用已是随处可见。GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策
转载
2023-08-17 17:14:00
121阅读
六个模型的区别 SI-Modelimport scipy.integrate as spi
import numpy as np
import matplotlib.pyplot as plt
# N为人群总数
N = 10000
# β为传染率系数
beta = 0.25
# gamma为恢复率系数
gamma = 0
# I_0为感染者的初始人数
I_0 = 1
# S
转载
2023-11-03 20:47:47
74阅读
全面介绍logging模块功能，让你轻松驾驭 1、模块级函数 logging.getLogger([name]):返回一个logger对象，如果没有指定名字将返回root loggerlogging.debug()、logging.info()、logging.warning()、logging.error()、logging.critical()：设定root logger的日志级别logg
转载
2023-10-11 19:18:08
99阅读
逻辑回归（Logistic Regression，LR）应该是互联网行业使用最广的分类模型了。CTR预估、反作弊、推荐系统等等领域都在大量使用LR模型。近几年，DNN有逐渐取代LR的趋势，但LR仍然有着理论完备、训练速度快、物理意义清晰等优势。对于业务发展初期，LR仍然是首选。最后，LR模型本身并不复杂，成功的关键在于特征工程（Feature Engineering)。特征工程以后会有专门的文
Infographics 是数据，信息，知识的视觉阐述。按 Rick Mans 的说法，Infographics
是所有图形设计中最具挑战性的工作，你需要漫长的数据收集过程，而将这些数据转换为令人过目难忘的视觉展示更过人的功底。本文搜集了50个精美绝伦的
Infographics 设计，绝大多数都是《数据之美》系列中从未涉猎过的。Celebrity
Body Insurance.
模型是对数据的学习，必不可少 一.基本概念1.模型也被称为学习器（假设/算法），是指能从已有的数据中学习到所需知识的数学模型。2.相关概念（1）归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好，比如：存在多个模型能反映训练样本，但是它们对于新的样本却有不同的输出，表示不同模型对不同假设的偏好，也就是说一个数据集能训练出很多不同的模型，取决于训练数据时
转载
2024-10-06 14:45:23
38阅读
## 了解lgbm回归模型在Python中的评估指标和输出
LightGBM（Light Gradient Boosting Machine）是一种梯度提升框架，专门针对大规模数据集和高维特征优化。在Python中，我们可以使用LightGBM进行回归任务，并评估模型性能。
### 流程图
```mermaid
flowchart TD
A[准备数据] --> B[构建模型]
原创
2024-04-15 04:10:35
521阅读
