目录现实问题思考回归分析回归问题求解求解方法：梯度下降法Python实战：多因子房价预测现实问题思考现实问题思考--体重预测身高更多因素：性别、所在城市、父母身高等现实问题思考--住宅面积预测售价更多因素：房间数量、房屋年龄、人口密度、交通便利程度等现实问题思考--细菌增长数量预测更多因素：环境温度、营养液余量回归分析基于输入数据，确定变量间相互依赖的定量关系举例：小明开始工资1000，每周增长，
转载
2023-08-01 13:26:25
149阅读
回归树在选择不同特征作为分裂节点的策略上，与基础篇6的决策树的思路类似。不同之处在于，回归树叶节点的数据类型不是离散型，而是连续型。决策树每个叶节点依照训练数据表现的概率倾向决定了其最终的预测类；而回归树的叶节点确实一个个具体的值，从预测值连续这个意义上严格地讲，回归树不能成为“回归算法”。因为回归树的叶节点返回的是“一团”训练数据的均值，而不是具体的，连续的预测值。下面使用回归树对美国波士顿房训
转载
2024-04-01 08:42:53
56阅读
一、如何学习回归分析？1.学习回归分析之前，我们需要先明白什么是回归分析? 为什么要学习回归分析？简单线性回归初中时期，我们都学习过简单的线性方程。例如，一元一次方程、一元二次方程等。这些简单的线性方程就是回归分析中线性回归的一种体现，通过线性回归方程，我们可以输入一个自变量得到一个预测的因变量。简单线性回归的自变量和因变量也被称为特征和标签。因为线性回归具有预测功能，所以线性回归时常运用到生活当
转载
2023-11-21 19:09:23
99阅读
写在前面：打算记录一下很常见的backbone网络，本篇博客用于记录自己ResNet网络的学习过程。 论文传送门：Deep Residual Learning for Image Recognition一、ResNet网络做了什么1、提出 Residual 结构（残差结构），并搭建超深的网络结构 我们在搭建更深层网络时，并不是简单堆叠就能取得比较好的效果的。 如上图，56层的网络效果反而更差，这是
转载
2024-04-23 15:16:30
136阅读
本文介绍如何构建简单线性回归模型及计算其准确率，最后介绍如何持久化模型。线性回归模型线性回归表示发现函数使用线性组合表示输入变量。简单线性回归很容易理解，使用了基本的回归技术，一旦理解了这些基本概念，可以更好地学习其他类型的回归模型。回归用于发现输入变量和输出变量之间的关系，一般变量为实数。我们的目标是估计映射从输入到输出的映射核函数。下面从一个简单示例开始：1 --> 2
3 -->
转载
2023-07-11 20:05:50
165阅读
Transformer采用自注意力机制，与一般注意力机制计算分配值的方法基本相同，原理可参考 只是！Query的来源不同，一般AM中的query来源于目标语句，而self-AM的query来源于源语句本身。Encoder模块中自注意力机制计算步骤如下：把输入单词转换为带时序信息的嵌入向量 x（源单词的词嵌入 + 对应的Position Encoding）；根据嵌入向量 x 生成 q、k、v 三个
转载
2024-03-17 14:04:01
749阅读
逻辑回归前言一、逻辑回归简介二、逻辑回归推导1、问题2、Sigmoid函数3、目标函数3.1 让步比3.2 极大似然估计3.3 推导4、代价函数5、最大化似然函数三、逻辑回归实现结果展示 前言第二次实验开始了，内容是逻辑回归，听起来像是线性回归的兄弟，然而仔细查阅后发现逻辑回归其实是一种分类算法；我们知道回归算法的结果建立在连续的数据上，分类算法的结果建立在离散的数据上；因此逻辑回归本质上是一种
转载
2024-06-07 07:30:30
62阅读
目录一、什么是回归树回归树的衡量指标什么是交叉验证二、交叉验证的简单使用1.导入相关的数据包 2.查看我们的数据3.实例化并使用交叉验证三、一维回归的图像绘制1.导入相关的库2.创建一条含有噪声的正弦曲线了解ravel降维的用法 3.创建回归模型4.导入测试集 5.预测测试集的数据6.用预测出来的数据绘制图像 一、什么是回归树DecisionTreeRegr
转载
2024-04-21 20:23:51
42阅读
1.原理 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是
转载
2024-07-02 20:09:39
30阅读
GBDT(Gradient Boosting Decision Tree)是被工业界广泛使用的机器学习算法之一，它既可以解决回归问题，又可以应用在分类场景中，该算法由斯坦福统计学教授 Jerome H. Friedman 在 1999 年发表。本文中，我们主要学习 GBDT 的回归部分。在学习 GBDT 之前，你需要对 CART、AdaBoost 决策树有所了解，和 AdaBoost 类
转载
2024-03-25 13:45:02
0阅读
# 使用 Python 实现回归分析与残差计算的入门指南
在数据科学和机器学习领域，回归分析是一种至关重要的统计方法。通过回归，我们能够了解变量之间的关系，并对未来的值进行预测。本篇文章将指导您如何使用 Python 来实现简单的线性回归分析，并计算残差。
## 工作流程
下面是实现回归分析与残差计算的基本流程：
| 步骤 | 内容
原创
2024-09-05 05:03:07
29阅读
1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。 2.原理 类似于随机森林
转载
2023-07-17 12:18:52
132阅读
之前的很多算法（SVM、朴素贝叶斯等）的学习心得都没有来的及写。由于学校一个横向项目需要（酒店需求预测）考虑使用GBDT来做回归，今天就先写GBDT的心得体会（不久前刚写了随机森林作为铺垫）。这个算法是目前我接触到的算法当中比较难的一个了，但据说效果超级好，毕竟Kaggle竞赛的必备算法哈。 同随机森林
转载
2023-10-17 23:18:50
85阅读
系列文章目录浅入决策树的分类和回归 深入决策树的分类和回归 sklearn中的决策树前言在学习重要的基础算法的时候，我往往会偷懒忽视掉很多问题，就会陷入到，我觉得我会了，我知道是怎么个原理，就是一句代码拿来用就好，但真的要去讲解说明的时候，我却不知道从何说起，最后的conclusion就是实则我不是很清楚原理也讲不清原理。在这里主要浅析决策树中的分类和回归原理，让我们不仅仅知道决策树是什么，还知道
转载
2024-05-30 09:20:41
54阅读
文章目录一、利用Excel的数据分析实现线性回归1.1、添加数据分析工具1.2、使用数据分析库完成线性回归练习1.3、选择添加趋势线1.4、对200组、2000组数据的分析二、Python编程实现线性回归三、Python借助skleran库四、总结五、参考资料 一、利用Excel的数据分析实现线性回归1.1、添加数据分析工具 选择分析工具库和分析工具库-VBA，点击转到后点击确定1.2、使用数据
转载
2023-07-28 15:42:31
89阅读
目录最小二乘法代码实现1 数据导入2 线性回归模型定义 3 测试线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = wx+b。一、最小二乘法一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=wx+b的直线。首先，直接给出w、b的解 均方误差是回归任务中最常用的性能度量，因此我们试图
转载
2023-07-03 22:56:59
184阅读
决策树决策树是一种基本的分类与回归方法决策树&回归回归决策树主要指CART(classification and regression tree)算法，内部结点特征的取值为“是”和“否”， 为二叉树结构。回归是一种比较常用的机器学习算法，用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系；从机器学习的角度来讲，用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系
转载
2023-11-02 14:26:22
128阅读
数据源：modis的MOD9A1产品，分辨率500m，合成周期为8天NDVI（归一化植被指数）计算公式：NDVI=(NIR-R)/(NIR+R)，其中NIR为近红外波段，R为红光波段，分别对应MODIS第2和第1波段。NDBI（归一化建筑指数）计算公式：NDBI=(M IR - N IR ) /(M IR + N IR )，其中MIR为中红外波段，NIR为近红外波段，分别对应MODIS第6和第1波
一、原理篇1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下：回归树的原理及Python实现1.2 预测年龄仍然以预测同事年龄来举例，从《回归树》那篇文章中我们可以知道，如果需要通过一个常量来预测同事的年龄，平均值是最佳选择之一。1.3 年龄的残差我们不妨假设同事的年龄分别为5岁、6岁、7岁，那么同事的平均年龄就是6岁。所以我们用6岁这个常量来预测同事的年龄
转载
2024-04-29 09:45:32
70阅读
决策树是既可以做分类又可以做回归的模型，这篇文章我们来测试..
原创
2022-11-17 00:03:29
170阅读
