基于numpy使用梯度下降法解决简单的线性回归问题理论推导使用 \(y=wx\)初始化 \(w\)例如初始化 \(w\) 为100，\(x\in[-10, 10]\)目的是拟合出一条形如 \(y=wx\)使用均方差损失函数来表达拟合程度，越小说明拟合的越好定义总损失函数为\[\begin{aligned}
loss
&=(\sum_{i=0}^n((y_i^{predict}-y_i)^2
转载
2023-08-27 14:48:31
62阅读
原文链接:http://ihoge.cn/2018/GradientDescent.html最近在看机器学习相关的基础算法原理,意外发现一个大神的分享网页,简洁并且语言精炼,思路很清楚,仔细研究会对算法原理有新的理解,另外还有代码分享,可以手码.引言李航老师在《统计学习方法》中将机器学习的三要素总结为：模型、策略和算法。其大致含义如下：模型：其实就是机器学习训练的过程中所要学习的条...
转载
2021-09-01 16:13:48
1075阅读
梯度下降法在统计学习还是深度学习中都得到了广泛的应用，我们通过构建合理的模型，将模型预测的输出和正确结果进行误差计算，通过优化模型参数使得输出的结果和正确结果的误差最小，我们往往会把误差损失函数构建成一个凸函数，这样使得参数的求解比较单一化，就像一元二次函数只有一个波峰或者波谷，那么求解答案就是寻找这个波峰或者波谷，如果把误差损失函数表达成类似sinx的函数，存在多个波峰波谷，那么求解的答案就会有
转载
2023-10-24 06:56:12
51阅读
机器学习10：如何理解随机梯度下降1.梯度下降法 理解随机梯度下降，首先要理解梯度下降法。 大多数机器学习或者深度学习算法都涉及某种形式的优化，优化指的是改变 x以最小化或最大化某个函数的任务， 我们通常以最小化 指代大多数最优化问题， 最大化可经由最小化算法最小化-来实现。&n
SGD（随机梯度下降）详解名词解释SGD vs BGD效率方面优化方面SGD优势SGD劣势 名词解释名词定义original-loss整个训练集上的lossminibatch-loss在一个mini batch上的lossBGD最原始的梯度下降算法，为了计算original-loss上的梯度，需要使用训练集全部数据SGD（近似）计算original-loss梯度时，只使用一个mini batch
转载
2024-05-27 21:20:27
48阅读
参考： https://yjango.gitbooks.io/superorganism/content/ti_du_xia_jiang_xun_lian_fa.htmlhttps://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650720663&idx=3&sn=d9f671f77be23a148d1830448154a
转载
2024-08-21 10:53:10
58阅读
6.梯度下降？①梯度下降是迭代法的一种，可以用于求解最小二乘问题；②在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降（Gradient Descent）和最小二乘法。③在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值；④如果需要求解损失函数的最大值，可以通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换；⑤在机器学习中，梯度下降法
转载
2024-08-21 10:48:56
89阅读
梯度下降法是一种求函数最小值的算法。在机器学习中，预测值和实际值之间的差称为误差。将所有数据点上的所有误差加在一起时称为成本。当然，我们希望最小化代表此成本的函数 - 成本函数。在机器学习中梯度下降是什么意思呢?通过使用称为反向传播的技术来训练神经网络。梯度下降是反向传播的一个非常重要的部分。梯度下降法是一种非常流行的方法来调整机器学习模型的参数，以达到最小的误差状态。机器学习算法是告诉机器学习数
转载
2024-03-26 16:00:50
130阅读
CS299课程的笔记为什么梯度方向下降最快方向导数定义：函数在某一特定方向上的
原创
2022-08-04 22:00:31
296阅读
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为： 对应的损失函数为：&nb
转载
2024-04-03 20:27:51
78阅读
首先是对感知器的简单回顾，假设现有的训练集为 D，共有 n 个训练数据，每个数据都有 m 个输入特征和一个输出标签。一个 epoch 就是遍历一次整个训练集，对于每一个训练数据，都计算其预测、计算误差、更新参数。 在一个 epoch 中，每次针对一个训练数据进行参数更新的方法，称为在线方法或者随机梯度下降；而在一个 epoch 中将参数在每个训练数据上需要更新的值记录下来，最后叠加在一起再对参数
转载
2024-03-07 10:05:55
190阅读
在上一篇博客中，简单介绍了一下人工智能的直观理解。 接下来就用一个最简单的例子来演示一下机器学习中最常用的梯度下降的用法。梯度下降本身还是有很多理论干货的，但是因为实际代码中都浓缩成了一个函数去调用，所以有时候不太了解也不影响使用。 不过几种常用的优化函数还是要知道的，可以参考这篇博客：我们假如要买房：房价=每平米价格* 面积+固定费用（手续费、物业费等） 用一个简单方程表示：y=a* x+b我们
转载
2024-05-28 09:57:54
100阅读
梯度下降法作为机器学习中较常使用的优化算法，其有着3种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）、小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这3种不同的梯度下降法进行理解。1. 批量
转载
2024-04-11 16:38:24
32阅读
随机梯度下降法1. 概念 那个梯度值准确的求出来。 那么通过推导的这个公式可以看出来，要想求出这个准确的梯度来，在这个式子中每一项都要对所有的样本（ 个）进行一下计算，前面是有一个求和计算的，那么这样的一个下降法通常又叫做批量梯度下降法（Batch Gradient Descent）。也就是说，每一次计算的过程都要将样本中所有的信息批量的进行计算，但是这显然就带来了一个问题，如果我们的 个样
转载
2024-05-08 18:52:07
251阅读
梯度下降法本算法由梯度下降所引申： 对于优化问题： 使用梯度下降： 注意，alpha也是可以算的：求一个a使得f(x0+aP0)最小，是求函数极值的，这时候是关于a的一个函数，所以对a求导求极小值，复合函数求导法则最后就会得到求导等于0，这时候的点是驻点，就是导数值为0的点，因为二阶导数黑塞矩阵正定，所以一定为极小值点。这时候就求出了在P0方向上的最小值点。 图中（）意味内积。共轭和预备知识共轭：
转载
2024-05-08 11:46:28
173阅读
原创
2021-07-13 14:49:11
583阅读
批梯度下降批量梯度下降的优势计算效率高：正如您可能已经猜到的，此技术的计算要求较低，因为每个样本后都不需要更新。稳定收敛：另一个优点是权重到最佳权重的收敛非常稳定。通过对数据集中每个样本的所有单独梯度进行计算和平均，我们可以得到对真实梯度的很好估计，表明损失函数的最大增加。Barch梯度下降的缺点学习速度较慢：批量梯度下降的缺点是学习过程慢得多，因为在处理了N个样本后，我们仅执行一次更新。局部极小
转载
2024-05-01 19:33:14
116阅读
随机梯度下降几乎所有的深度学习算法都用到了一个非常重要的算法：随机梯度下降（stochastic gradient descent,SGD)随机梯度下降是梯度下降算法的一个扩展机器学习中一个反复出现的问题： 好的泛化需要大的训练集，但是大的训练集的计算代价也更大机器学习算法中的代价函数通常可以分解成每个样本的代价函数的总和。训练数据的负条件对数似然函数可以写成：\[J(\theta)=E_{x,y
转载
2024-02-22 13:12:21
223阅读
梯度下降（Gradient descent）在有监督学习中，我们通常会构造一个损失函数来衡量实际输出和训练标签间的差异。通过不断更新参数，来使损失函数的值尽可能的小。梯度下降就是用来计算如何更新参数使得损失函数的值达到最小值（可能是局部最小或者全局最小）。梯度下降计算流程 假设我们模型中的参数为，损失函数为，则计算过程为
转载
2024-03-18 11:11:39
384阅读
目 录一. 梯度下降 1.基本概念 2.梯度下降的步骤 3.批量梯度下降(BGD)和随机梯度下降(SGD)二. 一元线性回归 1.概念 2.
