学习笔记之Pytorch：线性回归的实现写在前面Pytorch实现loss的计算梯度下降迭代计算完整代码写在后面 写在前面小编写博客的初心是为了记录自己的学习历程，所以以下内容可能会有不严谨的地方，如果各位大佬发现内容有错或者有更好的方法，欢迎在评论区留言，一起进步！Pytorch实现本文只涉及线性回归代码的实现，不会太多的涉及到线性回归到数学原理，如果需要了解线性回归原理，可以在CSDN上搜索
转载
2024-02-02 19:58:00
49阅读
说到时下最火的两个深度学习框架，莫过于PyTorch和TensorFlow了。近日，美国知网Reddit机器学习社区中的一则热帖引发了讨论，Horce He在其个人论坛中发表了一篇题为《2019年机器学习框架的状态》的文章，指出了PyTorch的增长在研究领域已经大幅超越TensorFlow，研究人员正在舍弃TensorFlow并大量涌向PyTorch。同时，在工业界中，TensorFlow仍然是
转载
2024-09-02 12:56:56
40阅读
目录引言线性回归介绍手动实现梯度下降法线性回归调用API接口实现线性回归 引言线性回归可能是我们接触最早的机器学习算法了，在高中数学的课本上，我们第一次正式认识这位朋友，通过最小二乘法来得到数据的线性回归方程，进而求得模型的参数。但其实，在初中时，我们就学过通过两个已知点坐标求解一次函数的技能，这也算是线性回归模型的一种特例吧。今天来给大家介绍另一种求解线性回归模型的方法——梯度下降法。线性回归
转载
2024-03-26 05:40:04
40阅读
1） .回归算法： 回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。 回归算法是统计机器学习的利器。 常见的回归算法包括： 最小二乘法（Ordinary Least Square），逻辑回归（Logistic Regression） ， 逐步式回归（Stepwise Regression） ， 多元自适应回归样条（Multivariate Adaptive Regression Sp
转载
2024-02-15 15:28:03
79阅读
我相信很多人跟我一样，学习机器学习和数据科学的第一个算法是线性回归，它简单易懂。由于其功能有限，它不太可能成为工作中的最佳选择。大多数情况下，线性回归被用作基线模型来评估和比较研究中的新方法。在处理实际问题时，你应该了解并尝试许多其他回归算法。一方面可以系统学习回归算法，另外一方面在面试中也常用到这些算法。在本文中，我们将通过使用 Scikit-learn 和 XGBoost 的动手实践来学习 9
转载
2024-01-03 11:57:36
70阅读
一.认识回归1.简单的介绍 回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。顾名思义，分类算法用于离散型分布预测，如决策树、朴素贝叶斯、adaboost、SVM、Logistic回归都是分类算法；回归算法用于连续型分布预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升
转载
2023-11-02 08:56:53
219阅读
机器学习python之CART、GB、GBDT、XGBoost一、 分类回归树Classification And Regression Trees (CART)1.1 基尼系数1.2 CART分类树1.3 CART回归树1.4 CART的剪枝二、Boosting三、提升树Boosting Tree（BT）四、梯度提升Gradient boosting (GB)五、梯度提升决策树Gradient
K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同。 KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类预测时，一般是选择多数表决法
转载
2024-04-19 14:17:57
27阅读
回归是一种通过建模和分析变量之间关系的的方法，其目的是通过模型来计算得出一个具体的值。回归模型有两种，一种是可以用一条回归线拟合的数据，有明显的函数关系，可以通过线性性回归等方式进行拟合；第二种就是无明显线性关系，这时候就认为长得相似的样本值也相同。常用算法如下：一、线性回归（一）原理回归分析用来确定两种或两种以上变量间相互依赖的定量关系，其表达形式为y = w'x+e，其中只有一个自变量的情况称
转载
2023-08-24 13:42:07
182阅读
开篇这次我们介绍用pytorch实现逻辑回归，用到的数据集是MNIST数据。Logistic Regression是一种广义的线性回归模型，既可以做回归也可以做分类。 这个线性回归的因变量不是x，而是x的线性函数，即wx+b，所以这个回归可以表示为y = S(wx+b)。这个S就是我们熟知的sigmod函数，它可以将数据的范围归到0-1之间，所以这个值也可以当成概率用作分类，以0.5作为分类阈值。
转载
2023-11-20 05:14:35
59阅读
目录FGD（Full gradient descent）全梯度下降法SGD（stochastic gradient descent）使用动量(Momentum)的随机梯度下降法(SGD)使用牛顿加速度（NAG, Nesterov accelerated gradient）的随机梯度下降法（SGD）小批量梯度下降算法（mini-batch）SAGD（随机平均梯度下降(Stochastic Aver
转载
2024-08-06 12:44:14
55阅读
文章目录机器学习基本概念1.监督学习：2.无监督学习：3.泛化能力：4.过拟合：（overfitting）5.欠拟合：（underfittin）6.交叉验证：线性回归的原理线性回归损失函数、代价函数、目标函数优化方法1.梯度下降法：2.牛顿法：3.拟牛顿法：线性回归的评估指标sklearn参数详解 机器学习基本概念1.监督学习：我们给算法一个数据集，这个数据集是由多个“正确答案”组成。例如：在房
转载
2024-10-29 12:20:53
201阅读
logistic回归是线性回归算法的一种。线性模型基本结构为 f(x)=w0+w1∗x1+...+wn∗xn=wTx 其中wi是每个特征的参数。 当我们知道了w向量的值之后，我们就可以根据给定的x向量来计算f（x），给出预测结果。损失函数我们采用平方损失函数作为我们训练的损失函数 J(w)=12∑m1(yi−fw(xi)2 1/2是为了在后边求偏导数的时候用到梯度下降在进行预测的时候目标就是损失
转载
2024-09-20 18:05:32
18阅读
# 机器学习中的五种回归模型及其优缺点·监督学习## 1.线性回归(Linear Regression)参考：《机器学习实战》第八章算法链接：https://github.com/sharryling/machine-learning/blob/Machine-Learning/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92_%E5%9B%9E%E5%BD%92.ipyn
转载
2024-01-06 16:53:49
46阅读
线性回归算法线性回归算法类型:线性回归算法属于有监督学习的回归算法，可以处理标签为连续数据类型的数据。线性回归算法原理:通过寻找特征和标签之间的关系，生成一个线性方程，通过线性方程预测未知标签。 算法的结果是一个线性方程。 如果特征有一个，对应的结果就是一个一元线性方程。 如果特征存在多个，则结果为N元线性方程。线性回归算法的特点1.结果具有可解释性（根据线性方程可以明确的得出结果是如何计算出来的
转载
2024-02-04 00:26:06
42阅读
2.1.5 对模型超参数进行调优(调参)在刚刚的讨论中，我们似乎对模型的优化都是对模型算法本身的改进，比如：岭回归对线性回归的优化在于在线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。但是，大家是否想过这样的问题：在L2正则化中参数应该选择多少？是0.01、0.1、还是1？到目前为止，我们只能凭经验或者瞎猜，能不能找到一种方法找到最优的参数？事实上，找到最佳参数的问题本质上属于最优化的
转载
2024-09-24 15:44:40
158阅读
线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。一线性回归的基本要素（一）模型 线性回归假设输出与各个输入之间是线性关系，例如，我们假设房屋的价格与房子的面积和房龄有关 ，则房价与面积和房龄的关系可以用如下公式表示：只有一个自变量的情况称为单变量回归，大于一个自变量情况的叫做多元回
转载
2024-03-24 09:02:19
78阅读
前言虽然不是搞分类的，但是还是看看多标签和多分类的区别。为了避免自己的错误理解, 当然是选择原谅他啊…….找正规文档看哇. 以下翻译分别来自scikit-learn.org和 维基 喂鸡百科scikit-learn介绍多类分类(Multiclass classification): 表示分类任务中有多个类别, 比如对一堆水果图片分类, 它们可能是橘子、苹果、梨等. 多类分类是假设每个样本都被设置了
转载
2024-10-10 13:55:26
13阅读
多元线性回归模型通常不像复杂的机器学习模型那样拥有许多可调节的超参数。然而，仍有一些关键步骤和技巧可以用于优化多元线性回归模型的性能：特征选择 移除无关特征：通过分析特征与目标变量的关联度，移除与目标变量关联度低的特征。 使用特征选择方法：可以使用基于统计的方法（如逐步回归）来选择重要的特征。处理多重共线性 检测多重共线性：使用相关系数矩阵或方差膨胀因子（VIF）来检测特征之间的多重共线性。 减少
特征工程是机器学习当中很重要的部分，可以帮助我们设计、创建新特征，以便模型从中提取重要相关性。本文将记录并持续更新相关特征工程的工具包介绍，包括自动模型选择和超参数调优等各方面。
· Featuretools
Featuretools 是一个开源的Python 库，用于自动化特征工程。自动特征工程能够缩减时间成本，构建更优秀的预测模型，生成更有意义的特征，还能防止数据泄漏
转载
2024-07-31 16:43:50
479阅读
