1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的logist
转载
2024-04-16 10:34:33
69阅读
SVM和Logistic回归之间的区别 SVM试图找到分隔类别的“最佳”边距（线与支撑向量之间的距离），这降低了数据出错的风险，而逻辑回归则没有，相反，它可以具有不同的权重而具有不同的决策边界 即使在最佳点附近。SVM可以很好地处理非结构化和半结构化数据（例如文本和图像），而逻辑回归可以使用已经确定的自变量。 SVM基于数据的几何特性，而逻辑回归基于统计方法。 在SVM中，过度拟合的风险较小，而L
转载
2024-04-15 09:51:39
44阅读
之前的很多算法（SVM、朴素贝叶斯等）的学习心得都没有来的及写。由于学校一个横向项目需要（酒店需求预测）考虑使用GBDT来做回归，今天就先写GBDT的心得体会（不久前刚写了随机森林作为铺垫）。这个算法是目前我接触到的算法当中比较难的一个了，但据说效果超级好，毕竟Kaggle竞赛的必备算法哈。 同随机森林
转载
2023-10-17 23:18:50
85阅读
1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。 2.原理 类似于随机森林
转载
2023-07-17 12:18:52
132阅读
一、原理篇1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下：回归树的原理及Python实现1.2 预测年龄仍然以预测同事年龄来举例，从《回归树》那篇文章中我们可以知道，如果需要通过一个常量来预测同事的年龄，平均值是最佳选择之一。1.3 年龄的残差我们不妨假设同事的年龄分别为5岁、6岁、7岁，那么同事的平均年龄就是6岁。所以我们用6岁这个常量来预测同事的年龄
转载
2024-04-29 09:45:32
70阅读
LIBSVM做回归预测--终于弄通（原创） 看了网上很多帖子和博客，自己琢磨了很久到现在才弄明白怎么用libsvm来做预测。因为网上的帖子一般都是转来转去的，所以第一个人感觉这样写详细了， 之后的人不管懂不懂照搬不误，这就苦了我们笨的人啦。不过我研究了一天，终于有点眉目，写点体会，应该会比较详细吧，至少是过来人碰到的问题。 p.s.这里暂且不讨论分类问题，其实分类比预测简单，下载
原创
2023-07-04 20:51:19
82阅读
第一部分：参数说明
（一）、简述
sklearn自带的ensemble模块中集成了GradientBoostingRegressor的类，参数包括：
class
sklearn.ensemble.
GradientBoostingRegressor
(
loss=’ls’
,
learning_rate=0.1
,
n_estimators
转载
2024-05-08 09:55:35
63阅读
文章目录一、利用Excel的数据分析实现线性回归1.1、添加数据分析工具1.2、使用数据分析库完成线性回归练习1.3、选择添加趋势线1.4、对200组、2000组数据的分析二、Python编程实现线性回归三、Python借助skleran库四、总结五、参考资料 一、利用Excel的数据分析实现线性回归1.1、添加数据分析工具 选择分析工具库和分析工具库-VBA，点击转到后点击确定1.2、使用数据
转载
2023-07-28 15:42:31
89阅读
回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。我们为什么使用
转载
2024-05-06 10:13:02
105阅读
# Python做回归预测的好处
## 1. 引言
Python是一种简单易学的编程语言，拥有丰富的库和工具，被广泛应用于数据分析和机器学习领域。在回归预测领域，Python具有很多优势，本文将介绍使用Python进行回归预测的流程和具体步骤，并给出相应的代码示例。
## 2. 回归预测的流程
下面是回归预测的一般流程，我们可以用表格形式展示每个步骤：
| 步骤 | 描述 |
| ----
原创
2023-09-13 10:55:51
85阅读
文章目录基本简介模型构建与编译区别 cell state 和 hidden statekeras 中设置两种参数的讨论完整代码： 基本简介LSTM_learn 使用Keras进行时间序列预测回归问题的LSTM实现数据 数据来自互联网，这些数据用于预测航空公司的人数，我们使用LSTM网络来解决这个问题 关于此处模型构建，只对keras部分代码做重点的介绍模型构建与编译def build_model
转载
2024-04-11 10:51:06
65阅读
— 全文阅读3分钟 —在本文中，你将学习到以下内容：GBDT算法实现模型保存模型加载及预测前言GBDT属于Boosting算法，它是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。GBDT的会累加所有树的结果，而这种累加是无法通过分类完成的，因此GBDT的树都是CART回归树，而不是分类树（尽管GBDT调整后也可以用于分类但不代表GBDT的树为分类树）。本文就是
GBDT 及其改进版本(XGboost, lightGBM)在数据竞赛中占了大半江山，网上讲解的文章也很多，但大多是文字和公式的形式，这里尝试用简单的图解形式，去理解 GBDT 的基本操作过程。参考《统计学习方法》P149中的例子，说明 GBDT 的构造和预测过程。GBDT的构造GBDT 采用的弱分类器限定了 CART，因此构造出来的都是二叉树，因为单棵 CART 树的能力有限，GBDT 通过构造
转载
2024-04-03 09:17:27
69阅读
【火炉炼AI】机器学习031-KNN回归器模型的构建(本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )在上一篇文章中我们学习了构建KNN分类器模型，但是KNN不仅可以用于分类问题，还可以用于回归问题，本章我们来学习KNN回归模型的构建和训练。 1. 准备数据集此处我们使用随机函数构建了序列
转载
2024-07-29 15:16:19
25阅读
本文就R-CNN论文精读中 的预测框回归（Bounding box regression）问题进行详细讨论。R-CNN将候选框提取出来的特征向量，进行分类+偏移预测的并行处理。 偏移预测即预测框回归（Bounding box regression）问题，我们需要将生成的候选框进行位置、大小的微调。（图摘自b站up“同济子豪兄”的R-CNN论文解读） 我们需要思考这样一个问题：为什么加入这一个Reg
转载
2023-12-15 11:56:57
153阅读
GBDT即可用于解决回归问题，也能用于解决分类问题。在初步理解GBDT时，最好从回归和分类的角度分别理顺思路，发现其中的不同和关键点，就能初步明白GBDT的算法原理。接下来从回归和分类的角度分别记录下：1、回归的角度——初步：GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下
转载
2023-11-29 13:47:58
71阅读
注解：
fun_data()函数生成训练数据和标签，同时生成测试数据和测试标签
HIDDEN_SIZE = 128，使用128维的精度来定义LSTM的状态和输出精度,就是LSTM中的h,clstm_model()函数定义了一个可重入的模型，
分别由评估函数和训练函数调用，在训练前使用空模型预测并输出未训练数据并可视化
通过with tf.variable_scope("lstm_model",r
深度学习是一种强大的机器学习方法，不仅可以用于分类问题，也可以用于回归预测。本文将深入探讨如何利用深度学习技术实现回归预测，过程将根据环境配置、编译过程、参数调优、定制开发、部署方案以及进阶指南的结构进行详细描述。
### 环境配置
首先，我们需要配置深度学习的开发环境。以下是推荐的环境和工具配置步骤：
1. 安装Python（推荐版本3.8及以上）。
2. 安装虚拟环境工具。
3. 安装深
PyTorch 学习笔记这篇文章是我学习 PyTorch 过程中所记录的学习笔记汇总，包括 25 篇文章，是我学习 PyTorch点击查看在线电子书：https://pytorch.zhangxiann.com/学习笔记的结构遵循课程的顺序，共分为 8 周，循序渐进，力求通俗易懂。代码配套代码：https://github.com/zhangxiann/PyTorch_Practice所有代码均在
Transformers版本：4.4.2（2021 年 3 月 19 日发布）1. 本节接着上节内容，本节具体内容： a） BERT-based Models应用模型 b） Bert解决NLP任务 - BertForSequenceClassification - BertForMultiChoice - BertForTokenClassification - Bert
转载
2024-09-28 09:18:54
482阅读
