最美的等待是，我们——未来可期。
场景引入梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡
由于第一次实验的实验报告不在这台机器，先写这一算法吧。SGDLR（the Stochastic Gradient Descent for Logistic Regression），要讲解这一算法，首先要把名字拆为几块。1 随机 2 梯度下降 3逻辑回归先贴一篇文章：这篇文章中解释的还不错。其实这一算法，通俗来讲是这样子的：1、手中肯定有很多带有lab
转载
2024-07-05 11:11:27
33阅读
目录1 前提2 动量（Momentum） 方法3 AdaGrad方法4 RMSProp方法5 Adam方法6 总结与扩展1 前提进一步地， 有人会说深度学习中的优化问题本身就很难， 有太多局部最优点的陷阱。 没错， 这些陷阱对随机梯度下降法和批量梯度下降法都是普遍存在的。但对随机梯度下降法来说， 可怕的不是局部最优点， 而是山谷和鞍点两类地形。山谷顾名思义就
1. 概述梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，解释为什么要用梯度，最后实现一个简单的梯度下降算法的实例！2. 梯度下降算法2.1 场景假设梯度下降法的基本思想可以类
转载
2023-11-29 10:00:38
627阅读
本文主要介绍机器学习中的梯度下降法以及梯度下降与线性回归的结合部分。1.梯度下降法的思想根据上文介绍，我们知道了代价函数为： 我们需要求代价函数的最小值，即：梯度下降法的思想是： （1）首先给定 θ0, θ1（这两值具体取多少不重要，通常是将 θ0, θ1均设置为0） （2）接下来不停改变这两个值，从而使J( θ0, θ1)取得最小值。2.梯度下降法的通俗解释图1如图1所示为代价函数与 θ0, θ
在前两篇中我们讨论了线性回归和代价函数，其中大致给出了算法的具体思路，其中最主要的还是通过代价函数来获取假设函数中的θj的值，并以此来确定假设函数。接下来我们来看梯度下降算法梯度下降算法不仅仅局限于线性回归的代价函数，还可以解决更一般的函数J(θ1,θ2……θ(n-1)θ(n))，接下来我们为了方便起见，先来讨论J(θ1,θ2)的情况。现在我们有一个这样的代价函数的模型：在梯度下降算法中，我们要做
4.2 梯度下降法有了上一节的最小二乘法做基准，我们这次用梯度下降法求解w和b，从而可以比较二者的结果。4.2.1 数学原理在下面的公式中，我们规定x是样本特征值（单特征），y是样本标签值，z是预测值，下标 \(i\)预设函数（Hypothesis Function）为一个线性函数：\[z_i = x_i \cdot w + b \tag{1}\]损失函数（Loss Function）为均方差函数
上篇文章介绍了指数加权平均，这篇文章介绍在此基础上介绍一下动量梯度下降算法。所谓动量梯度下降算法，简言之就计算梯度的指数加权平均，然后使用这个梯度来更新权重，下面我们来详细解释这句话。我们在使用梯度下降算法更新权重时，希望损失函数能减小直到最优值。我们可以在一副等高线图中，画出损失函数随着迭代次数增加而减小的路径，即如下图所示：图中红点为最优点，蓝线为损失函数的减小路径，从图中左侧出发，逐渐靠近最
转载
2024-03-25 09:00:55
148阅读
梯度下降法解线性回归回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。假设现在的目标是开餐馆选址，自变量x是当地人口，因变量y是选址此处所获利润。拟合直线为 hθ(x)=θ0+θ1∗xhθ(x)=θ
转载
2024-08-01 08:29:25
440阅读
梯度下降（Gradient Descent）是一种常用的优化算法，常用于机器学习中的参数优化。梯度下降的基本思想是，沿着函数的梯度（或者说导数）的反方向，以步长为步进量逐渐逼近函数的最小值点。在机器学习中，梯度下降被用来求解最小化损失函数的参数。具体来说，对于一个损失函数 ，我们想要求解使得 最小的参数 。梯度下降算法通过迭代来逐渐优化参数 ，每次迭代都通过计算损失函数的梯度来更新参数 ，直到达
转载
2024-04-30 16:44:09
303阅读
线性回归-梯度下降法前言1. 全梯度下降算法（FG）2. 随机梯度下降算法（SG）3. 小批量梯度下降算法（mini-batch）4. 随机平均梯度下降算法（SAG）5. 梯度下降法算法比较和进一步优化5.1 算法比较5.2 梯度下降优化算法 前言在 机器学习】线性回归的损失和优化 中介绍了最基本的梯度下降法实现流程，常见的梯度下降算法有：全梯度下降算法(Full gradient descen
转载
2024-01-11 16:55:31
51阅读
目录1.概述2.梯度3.梯度下降算法的数学解释4.梯度下降算法实例4.1 单变量函数的梯度下降4.2 多变量函数的梯度下降5.梯度下降算法的实现5.1 梯度下降主体算法5.2 计算当前坐标对应的梯度值5.3 依据最低点坐标反推出损失值5.4 程序调用入口1.概述【说明】梯度下降算法（Gradient Descent Optimization）是神经网络模型训练最常用的优化算法（n纬问题求最优解，梯
转载
2024-03-25 17:01:40
110阅读
梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进...
转载
2021-07-22 17:31:15
590阅读
梯度下降算法 梯度下降原理 在线性回归算法求解中提到，sitar不一定可以求解。现在来尝试另外一种解法：梯度下降！ 核心在于如何优化。 通常需要 优化迭代 1万次，10万次。 优化时要在不同方向进行。这就需要在各自方向求偏导，各自更新。 一句话：沿着目标函数下降的方向去走。 梯度下降方法对比 批量梯
原创
2021-07-22 09:58:17
862阅读
梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进...
转载
2021-07-22 17:24:03
548阅读
梯度下降法大多数机器学习或者深度学习算法都涉及某种形式的优化。 优化指的是改变 特征x以最小化或最大化某个函数 f(x) 的任务。 我们通常以最小化 f(x) 指代大多数最优化问题。 最大化可经由最小化算法最小化 -f(x) 来实现。我们把要最小化或最大化的函数称为目标函数或准则。 当我们对其进行最小化时，我们也把它称为损失函数或误差函数。下面，我们假设一
转载
2024-03-30 08:22:39
68阅读
在机器学习的核心内容就是把数据喂给一个人工设计的模型，然后让模型自动的“学习”，从而优化模型自身的各种参数，最终使得在某一组参数下该模型能够最佳的匹配该学习任务。那么这个“学习”的过程就是机器学习算法的关键。梯度下降法就是实现该“学习”过程的一种最常见的方式，尤其是在深度学习(神经网络)模型中，BP反向传播方法的核心就是对每层的权重参数不断使用梯度下降来进行优化。另一种常用的方法是最小二乘法。
转载
2023-08-09 18:42:51
137阅读
在上一篇博客中，简单介绍了一下人工智能的直观理解。 接下来就用一个最简单的例子来演示一下机器学习中最常用的梯度下降的用法。梯度下降本身还是有很多理论干货的，但是因为实际代码中都浓缩成了一个函数去调用，所以有时候不太了解也不影响使用。 不过几种常用的优化函数还是要知道的，可以参考这篇博客：我们假如要买房：房价=每平米价格* 面积+固定费用（手续费、物业费等） 用一个简单方程表示：y=a* x+b我们
转载
2024-05-28 09:57:54
100阅读
简述梯度下降法又被称为最速下降法(Steepest descend method)，其理论基础是梯度的概念。梯度与方向导数的关系为：梯度的方向与取得最大方向导数值的方向一致，而梯度的模就是函数在该点的方向导数的最大值。现在假设我们要求函数的最值，采用梯度下降法，如图所示：梯度下降的相关概念 在详细了解梯度下降的算法之前，我们先看看相关的一些概念。 1. 步长（Learning rate
转载
2024-04-22 22:46:03
55阅读
梯度下降法本算法由梯度下降所引申： 对于优化问题： 使用梯度下降： 注意，alpha也是可以算的：求一个a使得f(x0+aP0)最小，是求函数极值的，这时候是关于a的一个函数，所以对a求导求极小值，复合函数求导法则最后就会得到求导等于0，这时候的点是驻点，就是导数值为0的点，因为二阶导数黑塞矩阵正定，所以一定为极小值点。这时候就求出了在P0方向上的最小值点。 图中（）意味内积。共轭和预备知识共轭：
转载
2024-05-08 11:46:28
173阅读
