今天跟着莫烦学pytorch，搭建的第一个CNN网络用于mnist手写数字体识别。首先需要用torchvision下载mnist数据集。train_data = torchvision.datasets.MNIST(
root='./mnist/',
train=True, # this is training
转载
2023-10-23 14:10:47
68阅读
# PyTorch 设置网络不可训练
在深度学习中，调整模型的可训练状态是一个常见的任务。无论是为了微调模型的特定层，还是为了提高训练效率，有时我们需要将某些网络层设置为不可训练状态。在这篇文章中，我们将详细探讨如何在PyTorch中设置网络不可训练，并提供相关代码示例。
## 什么是不可训练状态？
在PyTorch中，网络的每一层都有一个属性`requires_grad`，它控制着该层参数
## PyTorch设置不可训练参数
### 简介
在PyTorch中，我们通常会训练神经网络模型，通过调整模型的参数来最小化损失函数。然而，有时候我们需要设置一些参数为不可训练的，即在模型的训练过程中不更新它们的值。这在一些特定的场景下非常有用，例如固定预训练模型的某些层，或者使用一些已经固定的先验知识。
本文将介绍如何在PyTorch中设置不可训练参数，并给出详细的代码示例和解释。
##
原创
2023-08-31 11:08:04
925阅读
# 如何在PyTorch中设置网络为不训练状态
在深度学习的开发过程中，可能会遇到需要将某些部分的网络设置为不训练状态的情况，例如在某些预训练模型中只想微调特定层。本文将指导你如何在PyTorch中实现这一功能，我们将通过一个简单的流程，并逐步解释每个步骤的代码。
## 整体流程
下面的表格展示了设置网络不训练的主要步骤：
| 步骤 | 描述 |
|
简介ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常
转载
2023-10-21 22:12:39
496阅读
如何提升PyTorch“炼丹”速度？最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。不过需要注意的是，这些方法都是假设是在GPU上训练模型。这一分享在Reddit上得到了600的热度。接下来，我们便从提速高低开始，依次对这些方法来做介绍。1、选择合适的学习率时间表
转载
2024-01-23 16:54:40
41阅读
训练可视化简介深度神经网络是一个复杂的数学模型，其可解释性长时间为人质疑，被称为“黑盒”模型。但是其本质上就是个数学模型，很多统计学的方法可以用来观察理解这类深度模型。在PyTorch中并没有内置很完善的可视化功能，一般是借助TensorFlow的TensorBoard进行可视化（使用TensorBoardX这个工具）或者使用Visdom这个可视化工具，这两种方法是比较主流的手段。TensoBoa
目录连接(1) 数据处理(2) 搭建和自定义网络(3) 使用训练好的模型测试自己图片(4) 视频数据的处理(5) PyTorch源码修改之增加ConvLSTM层(6) 梯度反向传递(BackPropogate)的理解(7) 模型的训练和测试、保存和加载(8) pyTorch-To-Caffe(总) PyTorch遇到令人迷人的BUGPyTorch的学习和使用（二）最近刚好在看一篇与Siamese
转载
2024-02-21 22:01:43
39阅读
PyTorch的工作流程总览：
1.准备好数据
2.建立模型
3.将模型拟合到数据(训练)
4.做出预测和评估模型(推理)
5.保存和加载模型import torch
from torch import nn
import matplotlib.pyplot as plt
# 显示我自己pytorch的版本号
torch.__version__'1.7.1+cpu'1、数据(准备和加载)机器
转载
2023-09-29 11:16:51
108阅读
# 使用PyTorch训练人工神经网络（ANN）的完整指南
在深度学习的世界里，PyTorch是一个非常受欢迎的深度学习框架，它以其灵活性和易用性著称。这篇文章将带你逐步学习如何使用PyTorch训练一个简单的人工神经网络（ANN）。我们将通过表格展示流程，并详细解释每一步骤所需的代码。
## 整体流程
在开始之前，我们首先概述一下训练ANN的完整流程。下表展示了我们需要执行的主要步骤：
一、安装Anaconda1、安装anaconda的教程：这里要注意的是，anaconda尽量不要安装在C盘，选择一个容量较大的其他盘内比较好，因为后期要安装各种包，占内存太多二、在Anaconda Prompt下创建虚拟环境1、Anaconda Prompt的位置 2、虚拟环境创建 虚拟环境名称我这里创建了pytorch和tensorflow两个版本 创建方式就是下面
在使用 PyTorch 进行深度学习训练时，增量训练是一种非常重要的技巧，尤其在处理大规模数据集或者需要优化模型性能时。增量训练可以让模型在已有训练的基础上继续学习，从而节省计算资源并提高效率。本文将深入探讨如何在 PyTorch 中设置增量训练，分析相关参数，提供调试步骤，性能调优建议，排错指导以及最佳实践。
### 背景定位
随着数据量的激增与计算需求的提升，传统的训练模式常常耗时且资源浪
在使用PyTorch进行深度学习开发时，许多开发者可能会遇到显卡不可见的问题。通常这种情况发生在多卡系统中，或是显卡驱动未能正确加载，甚至可能是显卡被其他进程占用。在这篇博文中，我将详细记录如何解决“PyTorch设置显卡不可见”这一问题，以便其他开发者可以顺利解决类似难题。
## 背景定位
在使用PyTorch的过程中，通常需要利用GPU进行加速计算。如果显卡对于PyTorch不可见，模型训
项目场景：利用Pytorch在PTB数据集上训练的词嵌入模型的实现。问题描述：在训练过程中，发现训练速度很慢，利用GPU-Z查看后，发现GPU利用率基本为0。原因分析：为了找到耗时大的程序段，在训练代码中加入输出耗时的语句。for batch in data_iter:
print("end：, time ", time.time() - start)
转载
2023-08-08 13:19:05
205阅读
摘要在目标检测中loss的定义也是相当重要的一部分，SSD的loss定义是比较基础的，学习基础之后在去学restinanet的loss定义就轻松很多，定义loss是为了训练，让计算机知道自己的预测和真实标签的差距，通过不断的修改权重来达到loss值的缩小，就是预测准确度的提升。SSD的loss定义class MultiBoxLoss(nn.Module):
def __init__(s
转载
2023-06-08 16:38:33
291阅读
引用情况import numpy as np
import pandas as pd
import os
import gzip
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets
from
转载
2023-08-25 23:35:24
97阅读
写在最前面
小白跑代码，碰到out of memory了，batch size 从1024降到了32才不报错，但是跑了一个星期，实在受不了了，于是疯狂收集资料看看怎么用多卡训练，以下是我所看博客的总结，有错之处请提出并多多指教！最初，百度 多卡训练，给到最多的词条都是教你怎么使用DataParallelDataParallel确实是用于数据并行，但是机理到底是什么？一机多卡到底发生了什么？并行处理
转载
2023-10-30 22:30:32
229阅读
文章目录1. 考虑使用另外一种学习率策略2. 在 DataLoader 中使用多个 workers 和 pinned memory3. 最大化 batch size4. 使用自动混合精度5. 开启 cudnn benchmarking6. 注意 CPU 和 GPU 之间频繁的数据传输7. 使用 gradient/activation 检查点8. 使用梯度累加9. 对于多个GPU使用分布式数据并行
转载
2023-09-27 10:20:39
164阅读
1. 神经网络的结构全连接（FC）网络结构是最基本的神经网络结构，每一个节点与上一层中的所有节点相连接。BP神经网络由输入层、隐藏层和输出层组成。输入层和输出层的节点数取决于问题需要的输出和输出变量的个数，隐藏层节点数需要由开发者进行调试。在神经网络中，只有数据非线性分离时才需要隐藏层。对于一般的数据集，1~2层隐藏层已经足够了。隐藏层中的神经元数量由开发者调试获得。在隐藏层中使用太少的神经元将导
转载
2023-07-11 22:22:22
174阅读
PyTorch框架学习九——网络模型的构建一、概述二、nn.Module三、模型容器Container1.nn.Sequential2.nn.ModuleList3.nn.ModuleDict()4.总结 笔记二到八主要介绍与数据有关的内容，这次笔记将开始介绍网络模型有关的内容，首先我们不追求网络内部各层的具体内容，重点关注模型的构建，学会了如何构建模型，然后再开始一些具体网络层的学习。一、概述
转载
2024-03-14 06:21:17
80阅读
