个人理解：样本的重要性是不同的，分类和回归之间一致性较高的锚点十分重要，而一些难以被网络优化的负样本应该有更低的重要性。基于此提出了多重加权（pos和neg）区分不同样本重要性以促进训练。提出 box 细化，根据边缘判断真实框和预测框之间的误差。 论文思路：最优预测不仅应该具有较高的分类分数，还应该具有准确的定位。在训练中，通过区分样本重要性，分辨出分类定义一致性高的样本，过滤困难负样本。 提出问
机器学习中的泛化，泛化即是，模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。在机器学习领域中，当我们讨论一个机器学习模型学习和泛化的好坏时，我们通常使用术语：过拟合和欠拟合。我们知道模型训练和测试的时候有两套数据，训练集和测试集。在对训练数据进行拟合时，需要照顾到每个点，而其中有一些噪点，当某个模型过度的学习训练数据中的细节和噪音，以至于模型在新的数据上表现很差，这样的话模型
转载
2024-09-23 11:10:22
55阅读
目录前言一、分类1.1 决策树分类1.2 SVC1.3 MLP1.4 逻辑回归1.5 KNN二、集成分类模型2.1 随机森林2.2 GBDT2.3 XGBoost2.4 LightGBM2.5 CatBoost总结 数据挖掘系列： 缺失值处理方法汇总 离散化方法汇总 离群点(异常值)处理方法汇总 标准化(数据归一化)处理方法汇总 特征选择（特征筛选）方法汇总 特征选择筛选(降维)方法汇总
LightGBM算法梳理1.LightGBM2.LightGBM的起源XGBoost与LightGBM对比3.Histogram VS pre-sorted4.leaf-wise VS level-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.sklearn参数 1.LightGBMLightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架. 可用于排序，分类
转载
2024-08-04 15:55:18
41阅读
LightGBM（Light Gradient Boosting Machine）是一款基于决策树算法的分布式梯度提升框架。为了满足工业界缩短模型计算时间的需求，LightGBM的设计思路主要是两点： 减小数据对内存的使用，保证单个机器在不牺牲速度的情况下，尽可能地用上更多的数据； 减小通信的代价，提升多机并行时的效率，实现在计算上的线性加速。 由此可见，LightGBM的设计初衷就是提供一个快速
转载
2024-06-03 17:47:26
129阅读
lightGBM一、lightGBM的前世今生1.GBDT（Gradient Boosting Decision Tree）2.lightGBM（Light Gradient Boosting Machine）3.XGBoost3.1核心思想3.2优缺点二、lightGBM三、使用lightGBM解决信用卡欺诈问题 一、lightGBM的前世今生1.GBDT（Gradient Boosting
转载
2024-08-09 19:44:35
118阅读
ref. AI蜗牛车 文章目录前言一、LightGBM介绍二、LightGBM的直方图算法（Histogram）三、 LightGBM调参四、 总结 前言提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、LightGBM介绍谈起Light
转载
2024-08-09 13:33:50
86阅读
LightGBM是Boosting算法的一种，与GBDT、XGBOOST是属于同一类算法，很多情况下可能会需要lightGBM与GBDT、xgb进行比较。这里花点时间简单比较一下：一、GBDT GBDT是通过使用回归树来构建每一个弱分类器，（具体为啥使用回归树的原因是因为GBDT是由于每次迭代都是拟合上一颗树的残差（一阶梯度且是负梯度），最后所有的树结果求和即使最后结果。只有回归树才可以实现求和
转载
2023-12-26 14:46:10
299阅读
目录：1. GBDT简介2. GBDT回归算法 2.1 GBDT回归算法推导 2.2 GBDT回归算法实例 3. 手撕GBDT回归算法 3.1 用Python3实现GBDT回归算法 3.2 用sklearn实现GBDT回归算法&nb
转载
2024-08-09 12:05:39
30阅读
GBDT算法 Gradient Boosting Decision Tree 以梯度为优化目标，以提升为手段（前面讲到的集成算法中的串联），基础模型为决策树（这里用的是回归树）的算法GBDT简单来说，就是用多个树串联，提升模型的效果 以下是学习唐宇迪老师的GBDT算法的理解，文末有其他直接更详细的的关于GBDT算法的实现回归树的形式是CART 即二叉树使用回归树做分类和回归都可以我们希
转载
2024-05-29 14:07:44
101阅读
### GBM Python包：介绍和代码示例
#### 什么是GBM？
GBM，全称为梯度提升机（Gradient Boosting Machine），是一种常用于解决分类和回归问题的机器学习算法。它是一种集成学习方法，通过使用多个弱学习器的集合来构建一个强大的预测模型。GBM的核心思想是通过迭代地训练弱学习器，并使每个弱学习器关注之前学习器的错误样本，从而逐步提升整体模型的性能。
GBM具
原创
2023-11-27 06:08:41
83阅读
一. 编程语言分类 1.机器语言 以0，1的组合作为指令集，用二进制指令来编写程序； 优点：执行效率高 缺点：开发效率低 2.汇编语言 用英文标签代替二进制指令集来编写程序，比机器语言稍微高级，但本质没有发生改变； 优点：开发效率高于机器语言 缺点：执行效率低于机器语言 3.高级语言 用人类能理解的表达式来编写程序，通过操作系统来间接的操作硬件，高级
目录1、基本知识点简介2、LightGBM轻量级提升学习方法2.1 leaf-wise分裂策略2.2 基于直方图的排序算法2.3 支持类别特征和高效并行处理1、基本知识点简介在集成学习的Boosting提升算法中，有两大家族：第一是AdaBoost提升学习方法，另一种是GBDT梯度提升树。传统的AdaBoost算法：利用前一轮迭代弱学习器的误差来更新训练集的权重，一轮轮迭代下去。梯度提升树GBDT
转载
2023-08-21 23:06:03
120阅读
1 线性回归的实现由于李沐老师的课程中使用的d2l和我安装的部分库存在冲突，所以我没有使用他的方法进行线性回归。整体的步骤和我们上面讲到的一个模型步骤是一样的。1.1 数据生成import pandas as pd
import random
import matplotlib
import matplotlib.pyplot as plt
import os
import torchvision
转载
2023-08-16 14:48:00
103阅读
通过下面的代码 建立了一个OpenGL Context，可以绘图int fd;fd = open("/dev/dri/card0", O_RDWR);struct gbm_device *gbm;gbm = gbm_create_device(fd);EGLDisplay dpy;dpy = eglGetDisplay(gbm);EGLContext
原创
2023-01-31 00:20:30
345阅读
# 如何实现 Python 在线 Light
在这一篇文章中，我们将一起实现一个简单的在线 Light 应用。这个应用能够让用户通过网页启动和关闭一盏灯，模拟实际的家庭助手。我们将使用 Flask 框架来快速创建一个 Web 应用。下面是整个流程的步骤：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 安装 Fl
# Python在线Light：轻松实现在线Python编程
随着编程教育的普及和在线编程平台的兴起，越来越多的学习者希望能够随时随地进行Python编程。Python是一种功能强大且易于学习的编程语言，因此建立一个在线编程环境变得愈发重要。在这篇文章中，我们将探讨如何利用Python在线环境进行编程，并通过示例代码展示其魅力。
## 什么是在线Python编程？
在线Python编程是一种
原创
2024-10-13 05:42:12
23阅读
定义“python light在线”问题时，我们提到的是一种轻量级的 Python 运行环境，通常用于在线编程、教育或初步的开发环境。下面就来详细讲讲如何构建与优化这个环境。
## 环境配置
要构建一个轻量级的 Python 在线环境，首先需要配置环境。以下是步骤与依赖：
```mermaid
flowchart TD
A[安装操作系统] --> B[安装Python]
B
python信用评分卡建模（附代码，博主录制） https://mp.weixin.qq.com/s/KefG_8krBBaFl0LCi2L2WA转载一、VintageVintage源于葡萄酒酿造，葡萄酒的品质会因葡萄生长的年份不同、气候不同而不同。Vintage分析是指评估不同年份的葡萄酒的品质随着窖藏时间的推移而发生的变化，并且窖藏一定年份后，葡萄酒的品质会趋于稳定。如下图，2000年的葡萄
转载
2024-04-28 16:47:34
0阅读
尽管近年来神经网络复兴并大为流行，但是 boosting 算法在训练样本量有限、所需训练时间较短、缺乏调参知识等场景依然有其不可或缺的优势。本文从算法结构差异、每个算法的分类变量时的处理、算法在数据集上的实现等多个方面对 3 种代表性的 boosting 算法 CatBoost、Light GBM
转载
2019-08-18 18:36:00
224阅读
