现代的机器学习系统均利用大量的数据，利用梯度下降算法或者相关的变体进行训练。传统上，最早出现的优化算法是SGD，之后又陆续出现了AdaGrad、RMSprop、ADAM等变体，那么这些算法之间又有哪些区别和联系呢？本文试图对比的介绍目前常用的基于一阶梯度的优化算法，并给出它们的(PyTorch)实现。SGD算法描述随机梯度下降法(Stochastic Gradient Descent，SGD)是对
转载
2023-07-24 16:15:13
188阅读
课程目录（在更新，喜欢加个关注点个赞呗）：从零学习pytorch 第1课 搭建一个超简单的网络从零学习pytorch 第1.5课 训练集、验证集和测试集的作用从零学习pytorch 第2课 Dataset类从零学习pytorch 第3课 DataLoader类运行过程从零学习pytorch 第4课 初见transforms从零学习pytorch 第5课 PyTorch模型搭建三要素从零学习pyto
SGDSGD就是每一次迭代计算mini-batch的梯度，然后对参数进行更新，是最常见的优化方法了。即： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hy5fKRJs-1629257185663)(SGD.png)] 其中，η ηη是学习率，g t g_{t}g t是梯度 params (iterable) – 待优化参数的iterable或者是定义了参数组的d
转载
2024-02-21 19:22:27
84阅读
# 使用 SGD 实现 PyTorch 的入门指南
在深度学习的领域，优化算法是一个非常重要的概念。Stochastic Gradient Descent（SGD）是最常用的优化算法之一。本文将引导你如何在 PyTorch 中实现 SGD。本文的内容包括一个流程表、详细的代码示例，并对每一步进行注释解释。
## 整体流程
实施 SGD 优化的流程大致如下，参见下表：
| 步骤
# SGD训练与PyTorch深度学习
最近，深度学习已成为机器学习领域的重要组成部分，特别是在图像识别、自然语言处理等领域。为了训练深度学习模型，我们通常采用各种优化算法，其中随机梯度下降（SGD, Stochastic Gradient Descent）是最常用的优化方法之一。本文将探讨SGD的工作原理及其在PyTorch框架中的应用。
## 什么是SGD？
SGD是一种迭代的方法，在每
原创
2024-09-29 06:20:02
28阅读
文章作者：梦家 早期基于 DGL 库学习卷积神经网络，写过一个 GCN demo。后来PyTorch的几何扩展库出来了，发现学术界很多paper都是基于 PyG 实现的，因此学习下 PyG 如何使用。事实上这两个库都非常实用，但 PyG 和 DGL 这两大框架应该如何选择呢？没有好坏之分，个人只是从工具生态中进行判断，给出这两个库在Github中 Fork 和 Star 数量，可以说明 PyG 维
转载
2024-02-02 22:36:08
97阅读
目前神经网络的监督学习过程通常为：数据加载（load）进神经网络经过网络参数对数据的计算，得出预测值（predict）根据预测值与标注值（label）之间的差距，产生损失（loss）通过反向传播（BP：Back Propagation）对神经网络的各个参数产生梯度（gradient）依据特定的梯度下降算法（如SGD：Stochastic Gradient Descent随机梯度下降），基于梯度对参
转载
2023-08-28 15:02:06
239阅读
一、随机梯度下降法（sgd） 前面我们介绍了梯度下降法的数学原理，下面我们通过例子来说明一下随机梯度下降法，我们分别从 0 自己实现，以及使用 pytorch 中自带的优化器import numpy as np
import torch
from torchvision.datasets import MNIST # 导入 pytorch 内置的 mnist 数据
转载
2023-10-29 07:38:17
90阅读
# 实现 PyTorch 中的 SGD 优化器
作为一名新手开发者，了解如何在 PyTorch 中实现 Stochastic Gradient Descent（SGD）优化器是非常重要的。这篇文章将帮助你逐步掌握这一过程，并通过代码示例、流程图和甘特图，以便你更好地理解每一步。
## 实现步骤
为了实现 SGD 优化器，我们可以按照以下步骤进行：
| 步骤 | 描述 |
|------|-
学习率是深度学习训练中至关重要的参数，很多时候一个合适的学习率才能发挥出模型的较大潜力。所以学习率调整策略同样至关重要，这篇博客介绍一下Pytorch中常见的学习率调整方法。 import torch import numpy as np from torch.optim import SGD from torch.optim import lr_sched
在训练模型时，我们可以基于梯度使用不同的优化器（optimizer，或者称为“优化算法”）来最小化损失函数。这篇文章对常用的优化器进行了总结。BGDBGD 的全称是 Batch Gradient Descent，中文名称是批量梯度下降。顾名思义，BGD 根据整个训练集计算梯度进行梯度下降\[\theta = \theta - \eta\Delta_{\theta}J(\theta)
\]其中，\(
内容原文：https://morvanzhou.github.io/tutorials/machine-learning/torch/1、优化器Optimizer 加速神经网络训练最基础的optimizer是 Stochastic Gradient Descent(SGD)，假如红色方块是我们要训练的data，如果用普通的训练方法，就需要重复不断的把整套数据放入神经网络NN训练，这样消耗的计算资源
转载
2023-10-08 14:57:57
55阅读
目录mini-batch梯度下降随机梯度下降 在上一篇（拼拼凑凑的pytorch学习——神经网络训练）中我们说到过，pytorch中SGD优化器会使用全部传入的数据来计算梯度，所以如果传入了所有数据，那么就是相当于批量梯度下降，那么如果实现mini-batch梯度下降以及随机梯度下降呢？可以从数据供给的角度去考虑。这里仍旧使用上一篇中的例子mini-batch梯度下降mini-batch梯度下降
转载
2024-04-18 10:24:41
77阅读
因为这章内容比较多，分开来叙述，前面先讲理论后面是讲代码。最重要的是代码部分，结合代码去理解思想。SGD优化器思想：根据梯度，控制调整权重的幅度公式： 权重(新) = 权重(旧) - 学习率 × 梯度Adam优化器思想：在我看来，Adam优化器重点是能动态调整学习率，防止学习率较大时反复震荡，比如说当梯度一直为正的时候，权重一直减小，这时直到梯度为负的时候，权重不应该一下子增长太多，而是应该缓慢增
转载
2023-10-16 20:22:11
121阅读
随机梯度下降随机梯度下降（Stochastic Gradient Descent，简称SGD）是一种用于训练机器学习算法的优化算法，最值得注意的是深度学习中使用的人工神经网络。该算法的工作是找到一组内部模型参数，这些参数在某些性能测量中表现良好，例如对数损失或均方误差。优化是一种搜索过程，您可以将此搜索视为学习。优化算法称为“ 梯度下降 ”，其中“ 梯度 ”是指误差梯度或误差斜率的计算，“下降”是
转载
2023-11-08 23:59:04
114阅读
文章目录前言一、什么叫优化器二、优化器的种类介绍1、SGD（Stochastic Gradient Descent）**思想****数学表达****实际使用**2、Adam**思想****数学表达****实际使用**3、RMSprop（Root Mean Square Propagation）**思想****数学表达****实际使用**总结 前言一、什么叫优化器用于优化模型的参数。在选择优化器时
转载
2023-09-27 21:17:59
171阅读
今天来讲下之前发的一篇极其简单的搭建网络的博客里的一些细节（前文传送门）之前的那个文章中，用Pytorch搭建优化器的代码如下：# 设置优化器
optimzer = torch.optim.SGD(myNet.parameters(), lr=0.05)
loss_func = nn.MSELoss()一、SGD方法 我们要想训练我们的神经网络，就必须要有一种训练方法。就像你要训练你的肌肉，你的
转载
2023-06-30 18:34:36
86阅读
pytorch.optim包中可以直接调用SGD进行构建优化器，很简单，也很方便，但仍有一些细节需要注意一下参考：Pytorch中优化器源码解析PyTorch由4个主要包装组成： 1.Torch：类似于Numpy的通用数组库，可以在将张量类型转换为（torch.cuda.TensorFloat）并在GPU上进行计算。 2.torch.autograd：用于构建计算图形并自动获取渐变的包 3.tor
转载
2023-08-16 18:36:16
67阅读
PyTorch对Optimizer类的实现大部分都在Python上，只有计算用到了C++的部分，所以还是可以继续分析的。总览Optimizer类是所有具体优化器类的一个基类。下面一幅图表示一下。这里我以SGD类为例自下而上地介绍一下。Optimizer类中重要的成员变量只有两个，self.param_groups和self.state。self.param_groups用于存储模型参数和优化器本身
转载
2023-12-18 15:19:39
104阅读
在 上文中，我们介绍了PyTorch autograd系统的三个基石：Variable、Function、Engine。用一句简单的话来概括下，就是Engine使用Function构建的Graph来计算得到Variable上grad。在本文中，Gemfield将以下面的代码片段为例，详细介绍Engine如何构建Graph来进行反向传播计算：gemfield = torch.ones(2, 2, r
转载
2024-06-07 17:09:18
9阅读
