参考 1. 次梯度下降法； 完
原创
2022-11-04 06:24:57
183阅读
次梯度法是求解凸函数最优化（凸优化）问题的一种迭代法。次梯度法能够用于不可微的目标函数。当目标函数可微时，对于无约束问题次梯度法与梯度下降法具有同样的搜索方向。 虽然在实际的应用中，次梯度法比内点法和牛顿法慢得多，但是次梯度法可以直接应用于更广泛的问题，次梯度法只需要很少的存储需求。然而，通过将次梯 ...
转载
2021-10-18 15:28:00
380阅读
2评论
机器学习（二） 梯度下降法前言： 在上篇博文机器学习（一）中，最后我们提到，通过计算代价函数J(Θ)是否收敛于最小值来确定假设函数的参数Θ，进而训练出机器学习中的线性回归算法，那么如何来找到使得J（Θ）最小话的参数Θ呢，本篇博文将介绍一种常用的方法，梯度下降法来确定参数Θ值。一、对于单特征线性回归，梯度下降法的算法如下： repeat untile Θ no change { } 其中 α是步长常
转载
2024-09-18 18:57:54
70阅读
PyTorch是一款基于自动微分且越来越流行的神经网络框架。核心数据类型Tensor首先，手动初始化Tensor：a = torch.Tensor([[3., 3.],
[3., 3.]], requires_grad=True)像处理ndarray一样，可以通过将其中包含的数据简单地包装在torch.Tensor中来初始化Tensor。当用这种方式初始化Ten
转载
2023-12-25 11:24:00
49阅读
什么是次梯度？并不是很懂，就抽了一些时间，查...
转载
2019-05-17 20:16:00
1405阅读
在前文梯度下降法（一）从导数到梯度下降法的基本逻辑中指出，当函数梯度不存在时候，梯度下降法失效，而次梯度法则是凸优化中解决此类状况的一种有效方法。一、基本定义为了介绍次梯度的概念，首先需要引入次导数、次微分等概念。这些概念源于导数、微分，但又有显著的区别。1. 次导数下图中的一元函数均为凸函数，但在其拐点处不可导。观察拐点A、B处的直线，按照其与原始函数的位置关系，可分为如下两大类： 1）与原始函
在使用pytorch训练模型，经常需要加载大量图片数据，因此pytorch提供了好用的数据加载工具Dataloader。为了实现小批量循环读取大型数据集，在Dataloader类具体实现中，使用了迭代器和生成器。这一应用场景正是python中迭代器模式的意义所在，因此本文对Dataloader中代码进行解读，可以更好的理解python中迭代器和生成器的概念。本文的内容主要有：解释python中的迭
本文讲梯度下降（Gradient Descent）前先看看利用梯度下降法进行监督学习（例如分类、回归等）的一般步骤：1， 定义损失函数（Loss Function）2， 信息流forward propagation，直到输出端3， 误差信号back propagation。采用“链式法则”，求损失函数关于参数Θ的梯度4， 利用最优化方法（比如梯度下降法），进行参数更新5， 重复步骤2、3、4，直到
转载
2024-05-16 07:11:52
119阅读
假设我们提供了这样的数据样本（样本值取自于y=3*x1+4*x2）：x1 x2 y1 4 192 5 265 1 194 2 29x1和x2是特征，y是预测目标，我们需要以一条直线来拟合上面的数据，待拟合的函数如下（也就是建立的模型）：h（θ）=θ1x1+θ2x2我们的目的就是要求出θ1和θ2的值，让h(θ)尽量逼近目标值y。梯度下降法原理:我们首先确定损失函数： 其中，J(θ)是损失函数，m代
转载
2023-07-06 09:55:26
120阅读
线性回归-梯度下降法前言1. 全梯度下降算法（FG）2. 随机梯度下降算法（SG）3. 小批量梯度下降算法（mini-batch）4. 随机平均梯度下降算法（SAG）5. 梯度下降法算法比较和进一步优化5.1 算法比较5.2 梯度下降优化算法 前言在 机器学习】线性回归的损失和优化 中介绍了最基本的梯度下降法实现流程，常见的梯度下降算法有：全梯度下降算法(Full gradient descen
转载
2024-01-11 16:55:31
51阅读
一、梯度下降算法理论知识 我们给出一组房子面积，卧室数目以及对应房价数据，如何从数据中找到房价y与面积x1和卧室数目x2的关系？
为了实现监督学习，我们选择采用自变量x1、x2的线性函数来评估因变量y值，得到：
这里，sita1、sita2代表自变量x1
在机器学习的核心内容就是把数据喂给一个人工设计的模型，然后让模型自动的“学习”，从而优化模型自身的各种参数，最终使得在某一组参数下该模型能够最佳的匹配该学习任务。那么这个“学习”的过程就是机器学习算法的关键。梯度下降法就是实现该“学习”过程的一种最常见的方式，尤其是在深度学习(神经网络)模型中，BP反向传播方法的核心就是对每层的权重参数不断使用梯度下降来进行优化。另一种常用的方法是最小二乘法。
转载
2023-08-09 18:42:51
137阅读
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降法特点：越接近目标值，步长越小，下降速度越慢。直观上来看如下图所示：这里每一个圈代表一个函数梯度，最
转载
2024-04-29 11:58:19
75阅读
点赞
算法介绍：梯度下降算法是一种利用一次导数信息求取目标函数极值的方法，也是目前应用最为广泛的局部优化算法之一。其具有实现简单、容易迁移、收敛速度较快的特征。在求解过程中，从预设的种子点开始，根据梯度信息逐步迭代更新，使得种子点逐渐向目标函数的极小值点移动，最终到达目标函数的极小值点。注意，沿梯度正向移动，将获取目标函数局部极大值（梯度上升算法）；沿梯度反向移动，将获取目标函数局部极小值（梯度下降算法
转载
2023-06-21 22:27:41
75阅读
一、梯度下降算法理论知识我们给出一组房子面积，卧室数目以及对应房价数据，如何从数据中找到房价y与面积x1和卧室数目x2的关系？
为了实现监督学习，我们选择采用自变量x1、x2的线性函数来评估因变量y值，得到：
这里，sita1、sita2代表自变量x1、x2的权重（weights），sita0代
转载
2023-11-02 05:51:56
76阅读
1.梯度下降 1）什么是梯度下降？ 因为梯度下降是一种思想，没有严格的定义，所以用一个比喻来解释什么是梯度下降。 简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是
转载
2023-07-06 21:47:29
148阅读
翻译维基百科介绍梯度提升算法梯度提升算法是一种解决回归和分类问题的机器学习技术，它通过对弱预测模型(比如决策树)的集成产生预测模型。它像其他提升方法一样以分步的方式构建模型，并且通过允许使用任意可微分的损失函数来推广它们。非正式介绍和其他boost方法一样，梯度提升方法也是通过迭代的方法联合弱”学习者”联合形成一个强学习者。很容易在最小二乘回归中解释算法的原理，最小二乘法回归的目的就是“教”模型F
转载
2023-09-05 14:37:34
102阅读
1.背景介绍随机梯度下降（Stochastic Gradient Descent, SGD）和次梯度法（Second-order methods）是两种广泛应用于机器学习和深度学习中的优化算法。这
原创
2024-01-08 12:26:58
184阅读
上篇文章介绍了指数加权平均，这篇文章介绍在此基础上介绍一下动量梯度下降算法。所谓动量梯度下降算法，简言之就计算梯度的指数加权平均，然后使用这个梯度来更新权重，下面我们来详细解释这句话。我们在使用梯度下降算法更新权重时，希望损失函数能减小直到最优值。我们可以在一副等高线图中，画出损失函数随着迭代次数增加而减小的路径，即如下图所示：图中红点为最优点，蓝线为损失函数的减小路径，从图中左侧出发，逐渐靠近最
转载
2024-03-25 09:00:55
148阅读
图像梯度在模糊的图像中，物体的轮廓不明显，轮廓边缘灰度变化不明显，导致层次感不强；而清晰的图像中，物体的轮廓很清晰，轮廓边缘灰度变换明显，层次感强；这种变化明显与否可以用 导数或梯度 来衡量，实际上可以用 灰度变化率 来计算； 如下图如果相邻像素相同，灰度变化率为0，没有梯度；如果相邻像素不同，灰度变化率不为0，存在梯度；计算完梯度后，把梯度和原图上对应的像素值相加，那么在存在梯度的位置
转载
2023-12-13 12:14:27
189阅读
