小白一枚最近接触了pytorch框架，细读了pytorch之实战计算机视觉，唐进民一书，这里做个笔记，希望能好好学习一下这个框架。1.手动计算梯度 一个batch（批次）的数据从输入到输出的完整过程是：先输入100个具有1000个特征的数据x，经过隐藏层后变成了100个具有100个特征的数据，再经过输出层输出100个具有10个分类结果值的数据y，在得到结果后计算损失并反向传播，这样就完成了一次训
转载
2023-08-19 17:42:20
157阅读
点赞
文章目录GoogLeNetInception块GoogLeNet模型训练模型小结 GoogLeNet在2014年的ImageNet图像识别挑战赛中，一个名叫 GoogLeNet [Szegedy et al., 2015]的网络架构大放异彩。GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进。 这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。毕竟，以前流行的网络使用小
转载
2024-02-02 18:16:36
46阅读
分布式训练之数据并行1. 背景 在深度学习的发展历程中，通过改变神经网络的结构，可以取得比较明显的精度。但是，随着神经网络结构设计技术不断成熟，想通过优化神经网络结构来打破模型的精度瓶颈遇到了很大的挑战。 根据一些研究表明，通过增大数据规模和模型规模，可以进一步提升模型精度。但是，这也意味着训练时间会变长，所以可以增加计算资源，通过分布式训练来缩短训练时间，将单卡的负载拆到多卡上。 数据并行（Da
转载
2023-12-28 10:21:32
99阅读
目录1.写在前面2.建立数据集3.建立神经网络4.训练网络5.可视化训练过程1.写在前面 上篇博客我们详细介绍了PyTorch在解决回归问题上，主要的解决方法步骤。在日常任务中，除了回归任务，另外一个比较常见的就是分类的任务。这次我们也是用最简单的途径来看看神经网络是怎么进行事物的分类。2.建立数据集 &
转载
2023-12-07 03:28:42
49阅读
卷积神经网络中所有的层结构都可以通过 nn这个包调用。1.卷积层nn.Conv2d（）卷积在 pytorch 中有两种方式，一种是torch.nn.Conv2d()，一种是 torch.nn.functional.conv2d()，这两种形式本质都是使用一个卷积操作。 这两种形式的卷积对于输入的要求都是一样的，首先需要输入是一个 torch.autograd.Variable() 的类型，大小是
转载
2023-08-01 17:14:59
102阅读
文章目录前言一、使用numpy完成神经网络二、使用tensor完成神经网络三、pytorch的自动求导四、补充说明总结 前言 本系列主要是对pytorch基础知识学习的一个记录，尽量保持博客的更新进度和自己的学习进度。本人也处于学习阶段，博客中涉及到的知识可能存在某些问题，希望大家批评指正。另外，本博客中的有些内容基于吴恩达老师深度学习课程，我会尽量说明一下，但不敢保证全面。一、使用numpy
转载
2023-09-26 05:32:13
130阅读
目录一、神经网络基本骨架搭建nn.modulenn.Module的使用二、神经网络中一些神经结构的使用1. Convolution Layers 卷积层（1） 卷积操作示例（2） 用代码验证上述卷积操作的正确性（使用F.conv2d）（3） 卷积层nn.Conv2d的使用（4） 理解卷积层nn.Conv2d的各个参数（5） torch.nn.conv2d和torch.nn.functional.
转载
2023-08-31 09:35:00
96阅读
文章目录前言一、问题描述二、官方代码三、代码讲解1.参数初始化2.torch.nn2.1torch.nn.Relu和torch.nn.Linear2.2 神经网络参数的初始化3 Sequential4.nn中的损失函数5. 梯度清零6. 参数更新总结 前言 本系列主要是对pytorch基础知识学习的一个记录，尽量保持博客的更新进度和自己的学习进度。一、问题描述 此次需要构建的神经网络其实和前
转载
2023-09-06 17:57:23
62阅读
在pytoch中使用torch.nn命名空间提供了你需要建立自己的神经网络的基石。在PyTorch每个模块的子类nn.Module。神经网络是一个模块本身，由其他模块（层）组成。导入你所需要的模块假设构建一个网络模型如下：卷积层--》Relu层--》池化层--》全连接层--》Relu层--》全连接层
import os
import torch
from torch import nn
fro
转载
2023-10-09 00:01:04
159阅读
两类数据点。均值为2，方差为1正态分布100个随机点。标记为蓝色。均值为-2，方差为1正太分布100个随机点，标记为黄色。数据集制作如下利用神经网络网络进行分类结果如下 ： 代码如下 pytorch1.6+python3.6import torch
from torch.autograd import Variable
import torch.nn.functional as F
import
转载
2024-04-02 14:59:05
41阅读
GoogLeNet网络特点引入了 Inception 结构（融合不同尺度的特征信息）使用 1X1 的卷积核进行降维以及映射处理丢弃全连接层，而使用平均池化层（这大大的减少了模型参数） 大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，就如人类的大脑是可以看做是神经元的重复堆积，因此，GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，模仿视觉神经
转载
2023-10-20 11:03:37
68阅读
混合精度训练方法是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batch size。对于FP16的算子，若给定的数据类型是FP32，MindSpore框架的后端会进行降精度处理。用户可以开启INFO日志，并通过搜索关键字“reduce
转载
2024-01-10 17:06:56
51阅读
PyTorch 神经网络 神经网络 神经网络可以通过 torch.nn 包来构建。 现在对于自动梯度(autograd)有一些了解，神经网络是基于自动梯度 (autograd)来定义一些模型。一个 nn.Module 包括层和一个方法 forward(input) 它会返回输出(output)。 例
转载
2021-02-05 06:36:00
191阅读
2评论
PyTorch神经网络神经网络可以通过torch.nn包构建 pytorch神经网络上基于自动梯度（autograd）来定义模型：一个nn.Module构建神经网络层 一个方法forward(input)它会返回输出(output)数字图片识别网络：典型的神经网络训练过程包括以下几点：定义一个包含可训练参数的神经网络迭代整个输入通过神经网络处理输入计算损失loss反向传播梯度到神经网络的参数更新
原创
2022-06-23 17:31:15
155阅读
文章参考:http://pytorch123.com/SecondSection/neural_networks/ cs231n assignment2 - http://cs231n.github.io/assignments2019/assignment2/ 文章目录整体流程1. 定义网络结构2. 前向传播3. 定义损失函数（Loss）4. 反向传播5. 更新权重实例-AlexNet-pyto
转载
2023-09-27 13:44:13
100阅读
神经网络由对数据执行操作的层或模块组成。torch.nn命名空间提供了构建神经网络所需的所有模块。PyTorch中的每个模块都是 nn.Module 的子类。神经网络本身也是一个模块，但它由其他模块（层）组成。这种嵌套结构允许轻松构建和管理复杂的架构。在接下来的部分中，我们将构建一个神经网络来对 FashionMNIST 数据集中的图像进行分类。import os
import torch
fro
转载
2024-02-27 09:37:29
88阅读
神经网络的典型训练过程如下：定义包含一些可学习的参数(或者叫权重)神经网络模型；在数据集上迭代；通过神经网络处理输入；计算损失(输出结果和正确值的差值大小)；将梯度反向传播回网络的参数；更新网络的参数，主要使用如下简单的更新原则： weight = weight - learning_rate * gradient1. 构建神经网络模型import torch
import torch.nn as
转载
2023-11-26 10:37:17
60阅读
目录1 概述2 卷积（Convolution）2.1 单通道的卷积2.2 三通道的卷积2.2.1 1 Output Channel 2.2.2 M Output Channels3 卷积层常见参数3.1 padding3.2 stride3.3 Subsampling——MaxPo
转载
2023-08-12 20:18:14
133阅读
神经网络的搭建Pytorch搭建神经网络的核心包是torch.nn，训练神经网络的典型过程如下：定义具有一些可学习参数（或权重）的神经网络； 遍历输入数据集； 进行正向传播； 计算损失； 进行反向传播，计算参数的梯度； 更新参数（权重）。在Pytorch中，各部分的操作如下。导入包import torch
import torch.nn as nn
import torch.nn.function
转载
2023-10-19 18:51:14
75阅读
文章目录安装依赖从源码编译pytorchCXX_ABI问题数据集归一化Transforms搭建神经网络Components of a neural networknn.Flattennn.Linearnn.Sequentialnn.Softmax可视化网络结构优化模型参数访问模型的层次结构访问模型参数模型参数初始化方式一 手动修改方式二 torch.nn.init设置超参数添加优化循环添加 lo
转载
2024-02-03 06:58:27
147阅读
