SGDSGD就是每一次迭代计算mini-batch的梯度，然后对参数进行更新，是最常见的优化方法了。即： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hy5fKRJs-1629257185663)(SGD.png)] 其中，η ηη是学习率，g t g_{t}g t是梯度 params (iterable) – 待优化参数的iterable或者是定义了参数组的d
转载
2024-02-21 19:22:27
84阅读
目前神经网络的监督学习过程通常为：数据加载（load）进神经网络经过网络参数对数据的计算，得出预测值（predict）根据预测值与标注值（label）之间的差距，产生损失（loss）通过反向传播（BP：Back Propagation）对神经网络的各个参数产生梯度（gradient）依据特定的梯度下降算法（如SGD：Stochastic Gradient Descent随机梯度下降），基于梯度对参
转载
2023-08-28 15:02:06
239阅读
现代的机器学习系统均利用大量的数据，利用梯度下降算法或者相关的变体进行训练。传统上，最早出现的优化算法是SGD，之后又陆续出现了AdaGrad、RMSprop、ADAM等变体，那么这些算法之间又有哪些区别和联系呢？本文试图对比的介绍目前常用的基于一阶梯度的优化算法，并给出它们的(PyTorch)实现。SGD算法描述随机梯度下降法(Stochastic Gradient Descent，SGD)是对
转载
2023-07-24 16:15:13
188阅读
SGD，即随机梯度下降（Stochastic Gradient Descent），是机器学习中用于优化目标函数的迭代方法，特别是在处理大数据集和在线学
pytorch.optim包中可以直接调用SGD进行构建优化器，很简单，也很方便，但仍有一些细节需要注意一下参考：Pytorch中优化器源码解析PyTorch由4个主要包装组成： 1.Torch：类似于Numpy的通用数组库，可以在将张量类型转换为（torch.cuda.TensorFloat）并在GPU上进行计算。 2.torch.autograd：用于构建计算图形并自动获取渐变的包 3.tor
转载
2023-08-16 18:36:16
67阅读
PyTorch对Optimizer类的实现大部分都在Python上，只有计算用到了C++的部分，所以还是可以继续分析的。总览Optimizer类是所有具体优化器类的一个基类。下面一幅图表示一下。这里我以SGD类为例自下而上地介绍一下。Optimizer类中重要的成员变量只有两个，self.param_groups和self.state。self.param_groups用于存储模型参数和优化器本身
转载
2023-12-18 15:19:39
104阅读
课程目录（在更新，喜欢加个关注点个赞呗）：从零学习pytorch 第1课 搭建一个超简单的网络从零学习pytorch 第1.5课 训练集、验证集和测试集的作用从零学习pytorch 第2课 Dataset类从零学习pytorch 第3课 DataLoader类运行过程从零学习pytorch 第4课 初见transforms从零学习pytorch 第5课 PyTorch模型搭建三要素从零学习pyto
# 使用 SGD 实现 PyTorch 的入门指南
在深度学习的领域，优化算法是一个非常重要的概念。Stochastic Gradient Descent（SGD）是最常用的优化算法之一。本文将引导你如何在 PyTorch 中实现 SGD。本文的内容包括一个流程表、详细的代码示例，并对每一步进行注释解释。
## 整体流程
实施 SGD 优化的流程大致如下，参见下表：
| 步骤
# SGD训练与PyTorch深度学习
最近，深度学习已成为机器学习领域的重要组成部分，特别是在图像识别、自然语言处理等领域。为了训练深度学习模型，我们通常采用各种优化算法，其中随机梯度下降（SGD, Stochastic Gradient Descent）是最常用的优化方法之一。本文将探讨SGD的工作原理及其在PyTorch框架中的应用。
## 什么是SGD？
SGD是一种迭代的方法，在每
原创
2024-09-29 06:20:02
28阅读
文章作者：梦家 早期基于 DGL 库学习卷积神经网络，写过一个 GCN demo。后来PyTorch的几何扩展库出来了，发现学术界很多paper都是基于 PyG 实现的，因此学习下 PyG 如何使用。事实上这两个库都非常实用，但 PyG 和 DGL 这两大框架应该如何选择呢？没有好坏之分，个人只是从工具生态中进行判断，给出这两个库在Github中 Fork 和 Star 数量，可以说明 PyG 维
转载
2024-02-02 22:36:08
97阅读
一、随机梯度下降法（sgd） 前面我们介绍了梯度下降法的数学原理，下面我们通过例子来说明一下随机梯度下降法，我们分别从 0 自己实现，以及使用 pytorch 中自带的优化器import numpy as np
import torch
from torchvision.datasets import MNIST # 导入 pytorch 内置的 mnist 数据
转载
2023-10-29 07:38:17
90阅读
PyTorch源码浅析(1)：THTensorPyTorch中Tensor的存储和表示分开，多个THTensor可能共享一个THStorage，每个THTensor可能拥有不同的view（e.g. size, stride）。这样设计的好处是，有时看起来不一样的数据底层是共享的，比如矩阵与矩阵的转置、二维矩阵与二维矩阵变成一维时的矩阵。这部分的主要实现在pytorch/aten文件夹中，这里面既实
转载
2023-08-10 16:07:29
114阅读
PyTorch源码解析是一个非常重要的主题，对于深入理解深度学习框架的内部工作机制以及在实际项目中的使用大有裨益。在这篇博文中，我将详细探讨PyTorch的工作原理，并结合源码进行解析，帮助大家更好地掌握这个强大的工具。
引用块：
> PyTorch是一个深度学习框架，因其灵活性和高效性，受到许多研究者和开发者的青睐。通过对PyTorch源码的深入解析，可以更好地理解其设计哲学和实现细节，进而提
# 实现 PyTorch 中的 SGD 优化器
作为一名新手开发者，了解如何在 PyTorch 中实现 Stochastic Gradient Descent（SGD）优化器是非常重要的。这篇文章将帮助你逐步掌握这一过程，并通过代码示例、流程图和甘特图，以便你更好地理解每一步。
## 实现步骤
为了实现 SGD 优化器，我们可以按照以下步骤进行：
| 步骤 | 描述 |
|------|-
学习率是深度学习训练中至关重要的参数，很多时候一个合适的学习率才能发挥出模型的较大潜力。所以学习率调整策略同样至关重要，这篇博客介绍一下Pytorch中常见的学习率调整方法。 import torch import numpy as np from torch.optim import SGD from torch.optim import lr_sched
文章目录1. Pytorch的net.train 和 net.eval2. net.train2.1 BN (Batch Normalization）一、什么是BN？二、BN核心公式三、以全连接网络的BN为例（图例过程）四、PyTorch 源码解读之 BN1.**BatchNorm 原理**2. BatchNorm 的 PyTorch 实现2.1 _NormBase 类**2.1.1 初始化**
转载
2023-07-21 21:19:59
179阅读
内容原文：https://morvanzhou.github.io/tutorials/machine-learning/torch/1、优化器Optimizer 加速神经网络训练最基础的optimizer是 Stochastic Gradient Descent(SGD)，假如红色方块是我们要训练的data，如果用普通的训练方法，就需要重复不断的把整套数据放入神经网络NN训练，这样消耗的计算资源
转载
2023-10-08 14:57:57
55阅读
在训练模型时，我们可以基于梯度使用不同的优化器（optimizer，或者称为“优化算法”）来最小化损失函数。这篇文章对常用的优化器进行了总结。BGDBGD 的全称是 Batch Gradient Descent，中文名称是批量梯度下降。顾名思义，BGD 根据整个训练集计算梯度进行梯度下降\[\theta = \theta - \eta\Delta_{\theta}J(\theta)
\]其中，\(
文章目录前言一、什么叫优化器二、优化器的种类介绍1、SGD（Stochastic Gradient Descent）**思想****数学表达****实际使用**2、Adam**思想****数学表达****实际使用**3、RMSprop（Root Mean Square Propagation）**思想****数学表达****实际使用**总结 前言一、什么叫优化器用于优化模型的参数。在选择优化器时
转载
2023-09-27 21:17:59
171阅读
今天来讲下之前发的一篇极其简单的搭建网络的博客里的一些细节（前文传送门）之前的那个文章中，用Pytorch搭建优化器的代码如下：# 设置优化器
optimzer = torch.optim.SGD(myNet.parameters(), lr=0.05)
loss_func = nn.MSELoss()一、SGD方法 我们要想训练我们的神经网络，就必须要有一种训练方法。就像你要训练你的肌肉，你的
转载
2023-06-30 18:34:36
86阅读
