在上一篇文章当中，我们学习了GBDT这个模型在回归问题当中的原理。GBDT最大的特点就是对于损失函数的降低不是通过调整模型当中已有的参数实现的，若是通过训练新的CART决策树来逼近的。也就是说是通过增加参数而不是调整参数来逼近损失函数最低点。如果对于这部分不是很理解的话，可以通过下方的链接回顾一下之前的内容： 机器学习 | 详解GBDT梯度提升树原理，看完再也不怕面试了mp.weixin.q
转载
2024-09-28 19:29:42
36阅读
上一篇文章讲了GBDT的回归篇，其实这一篇文章的原理的思想基本与回归相同，不同之处在于分类任务需用的损失函数一般为logloss、指数损失函数。 回顾下logistic regression有助于我们进一步的了解GBDT是如何进行分类的，线性模型是我们使
转载
2024-03-31 19:30:17
86阅读
GBDT 是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。 这里简单介绍一下 GBDT 算法的原理，后续再写一个实战篇。1、决策树的分类决策树分为两大类，分类树和回归树。分类树用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面；回归树用于预测实数值，如明天的温度、用户的年龄、网页的相关程度；两者的区别：分类树的结果不能进行加减运算，晴天 晴天
转载
2024-05-20 15:38:19
18阅读
目录1.CART回归树2.加法模型与前向分布算法3.回归问题的提升树4.GBDT算法5.GBDT用于二分类问题A.单个样本的损失(BCE损失)B.在第m步样本的损失的负梯度C.算法的第一步中, 模型的初始值D.每个节点区域的输出值的估计概述： GBDT算法可以看成是由M棵树CART回归树组成的加法模型， 该模型使用前向分布算法来学习， 在前向分布算法中，每一步只学习一个基函数(基模型)及其系数，逐
# 使用 Python 实现 GBDT 二分类
在机器学习领域，GBDT（Gradient Boosting Decision Tree）是一种强大的算法，常用于分类和回归任务。对于初入门的开发者来说，首先需要了解如何使用 Python 来实现 GBDT 的二分类模型。接下来，我将为你提供一个完整的流程，并以具体的代码示例来帮助你理解。
## 整体流程
我们将通过以下步骤来实现 GBDT 二
原创
2024-10-20 06:52:55
33阅读
样本编号花萼长度(cm)花萼宽度(cm)花瓣长度(cm)花瓣宽度花的种类15.13.51.40.2山鸢尾24.93.01.40.2山鸢尾37.03.24.71.4杂色鸢尾46.43.24.51.5杂色鸢尾56.33.36.02.5维吉尼亚鸢尾65.82.75.11.9维吉尼亚鸢尾Iris数据集这是一个有6个样本的三分类问题。我们需要根据这个花的花萼长度，花萼宽度，花瓣长度，花瓣宽度来判断这个花属于
任务二GBDT算法梳理一、加法模型与前向分布算法1、加法模型2、前向分布算法二、负梯度拟合三、GBDT常用损失函数1、分类算法2、回归算法四、GBDT回归算法五、GBDT分类算法1、二分类2、多分类六、正则化七、优缺点八、sklearn参数九、应用场景 一、加法模型与前向分布算法 AdaBoost 算法可以认为是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。1、加
形式1：输出为单通道即网络的输出 output 为 [batch_size, 1, height, width] 形状。其中 batch_szie 为批量大小，1 表示输出一个通道，height 和 width 与输入图像的高和宽保持一致。在训练时，输出通道数是 1，网络得到的 output 包含的数值是任意的数。给定的 target ，是一个单通道标签图，数值只有 0 和 1 这两种。为了让网络
转载
2023-09-22 12:24:04
116阅读
KNN算法简介 KNN（K-Nearest Neighbor）最邻近分类算法是数据挖掘分类（classification）技术中最简单的算法之一，其指导思想是”近朱者赤，近墨者黑“，即由你的邻居来推断出你的类别。KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则
转载
2024-04-08 20:28:33
70阅读
GBDT梯度提升决策树，是一种典型的boosting的集成学习算法，也就采用的加法模型，通过 若干个基学习器的结果进行相加得到最终的结果。一.GBDT的训练过程GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进 行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通 过降低偏差来不断提高最终分类器的精度。GBDT的基学习器一般为car
转载
2024-05-29 00:57:57
35阅读
如果读者对以上各个方面都很熟悉，那么恭喜你已经成功掌握GBDT了。Boosting算法Bagging算法介绍在正式开讲GBDT之前，我先熟悉一下江湖中传说的集成学习的两个派系，分别是Boosting和Bagging。所谓的集成学习主要是通过学习多个弱学习器结合组合策略组成强学习以达到“多个臭皮匠顶个诸葛亮”的作用。集成学习中最典型的两个代表就是Boosting家族和Bagging家族。
转载
2024-05-27 15:52:34
35阅读
Sklearn中的二分类模型可以进行多分类的原理二分类扩展到多分类的方法从sklearn的源码中可以找到sklearn将二分类模型推广到多分类模型的具体做法：即比较常用的：one-vs-rest（一对多）one-vs-one（一对一）error correcting output codes（纠错输出编码，多对多）其中，Sklearn中默认的方法是one-vs-rest接下来将逐个介绍这三个方法的
转载
2024-01-08 15:35:18
82阅读
PyTorch搭建全连接神经网络求解二分类问题在求解线性回归问题的时候，我们已经学习了如何使用梯度下降算法来不断更新权重矩阵，使误差函数不断减小，这一节我们将使用PyTorch搭建一个简单的神经网络来求解二分类问题。本文的Jupyter Notebook代码可以在这里找到。文末也附上了可以运行的.py文件的代码import numpy as np
import matplotlib.pyplot
转载
2023-07-17 21:56:37
355阅读
2.2 使用sklearn创建完整的分类项目2.2.1 收集数据集并选择合适的特征：IRIS鸢尾花数据集from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
feature = iris.feature_names
data = pd.DataFrame(X,columns=fe
转载
2024-10-10 07:34:19
53阅读
这两天我们有一篇顶会的论文需要Minor Revision，reviewer说让我们在网络图中把fully connected layer画出来。对到底应该画图、画到多详细有点疑问，所以简单总结一下。我们在论文中解决的是一个二分类的问题，我们说hidden state送入fully connected layer+sigmoid做分类，但没有在网络图中画出来，有reviewer就让我们改图了。不过
转载
2024-07-08 10:33:02
78阅读
Perceptron是用于二进制分类任务的线性机器学习算法。它可以被认为是人工神经网络的第一种和最简单的类型之一。绝对不是“深度”学习，而是重要的组成部分。与逻辑回归相似，它可以快速学习两类分类任务在特征空间中的线性分离，尽管与逻辑回归不同，它使用随机梯度下降优化算法学习并且不预测校准概率。在本教程中，您将发现Perceptron分类机器学习算法。完成本教程后，您将知道：Perceptron分类器
# Python二分类预测入门指南
二分类预测是机器学习中的一种基本应用，通常用于判断某个输入是属于一个类还是另一个类（例如：邮件是“垃圾邮件”还是“正常邮件”）。本文将指导你如何实现一个简单的二分类预测模型。
## 流程概述
我们可以把这个流程分为以下几个步骤：
| 步骤 | 说明 |
|---------------|---
原创
2024-09-04 04:52:39
31阅读
一 为什么要评估模型?分布漂移（Distribution Drift）。验证指标可以对模型在不断新生的数据集上进行性能跟踪。当性能开始下降时，说明该模型已经无法拟合当前的数据了，因此需要对模型进行重新训练了。 模型能够拟合新的数据称为模型的泛化能力。二 怎么检验和评估模型?机器学习过程分为原型设计阶段（Prototyping）与应用阶段（Deployed）, 其中有原型设计阶段（Prototypi
转载
2024-06-17 08:54:56
137阅读
文章目录项目说明代码实现知识点：模拟演示定义网络构建数据集定义训练函数数据准备训练模型预测保存模型 项目说明代码改编转载自 唐国梁Tommy：12-01 轻松学 PyTorch LSTM文本生成_字符级代码实现知识点：1、LSTM 层的输入（input）格式 —> (batch_size, sequence_length, number_features) 参数讲解：batch_size
转载
2023-09-27 10:52:46
488阅读
文章链接刘二大人别人的博客，写的不错Pytorch详解NLLLoss和CrossEntropyLosspytorch二分类import numpy as np
import torch
import matplotlib.pyplot as plt
# 加载csv文件数据
xy = np.loadtxt(r'D:\学习资料\pytorch刘二大人课件\PyTorch深度学习实践\diabetes
转载
2023-09-06 14:03:56
577阅读
