简介ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常
转载
2023-10-21 22:12:39
496阅读
如何提升PyTorch“炼丹”速度？最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。不过需要注意的是，这些方法都是假设是在GPU上训练模型。这一分享在Reddit上得到了600的热度。接下来，我们便从提速高低开始，依次对这些方法来做介绍。1、选择合适的学习率时间表
转载
2024-01-23 16:54:40
41阅读
今天跟着莫烦学pytorch，搭建的第一个CNN网络用于mnist手写数字体识别。首先需要用torchvision下载mnist数据集。train_data = torchvision.datasets.MNIST(
root='./mnist/',
train=True, # this is training
转载
2023-10-23 14:10:47
68阅读
目录连接(1) 数据处理(2) 搭建和自定义网络(3) 使用训练好的模型测试自己图片(4) 视频数据的处理(5) PyTorch源码修改之增加ConvLSTM层(6) 梯度反向传递(BackPropogate)的理解(7) 模型的训练和测试、保存和加载(8) pyTorch-To-Caffe(总) PyTorch遇到令人迷人的BUGPyTorch的学习和使用（二）最近刚好在看一篇与Siamese
转载
2024-02-21 22:01:43
39阅读
PyTorch的工作流程总览：
1.准备好数据
2.建立模型
3.将模型拟合到数据(训练)
4.做出预测和评估模型(推理)
5.保存和加载模型import torch
from torch import nn
import matplotlib.pyplot as plt
# 显示我自己pytorch的版本号
torch.__version__'1.7.1+cpu'1、数据(准备和加载)机器
转载
2023-09-29 11:16:51
108阅读
# 使用PyTorch训练人工神经网络（ANN）的完整指南
在深度学习的世界里，PyTorch是一个非常受欢迎的深度学习框架，它以其灵活性和易用性著称。这篇文章将带你逐步学习如何使用PyTorch训练一个简单的人工神经网络（ANN）。我们将通过表格展示流程，并详细解释每一步骤所需的代码。
## 整体流程
在开始之前，我们首先概述一下训练ANN的完整流程。下表展示了我们需要执行的主要步骤：
摘要在目标检测中loss的定义也是相当重要的一部分，SSD的loss定义是比较基础的，学习基础之后在去学restinanet的loss定义就轻松很多，定义loss是为了训练，让计算机知道自己的预测和真实标签的差距，通过不断的修改权重来达到loss值的缩小，就是预测准确度的提升。SSD的loss定义class MultiBoxLoss(nn.Module):
def __init__(s
转载
2023-06-08 16:38:33
291阅读
项目场景：利用Pytorch在PTB数据集上训练的词嵌入模型的实现。问题描述：在训练过程中，发现训练速度很慢，利用GPU-Z查看后，发现GPU利用率基本为0。原因分析：为了找到耗时大的程序段，在训练代码中加入输出耗时的语句。for batch in data_iter:
print("end：, time ", time.time() - start)
转载
2023-08-08 13:19:05
205阅读
引用情况import numpy as np
import pandas as pd
import os
import gzip
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets
from
转载
2023-08-25 23:35:24
97阅读
写在最前面
小白跑代码，碰到out of memory了，batch size 从1024降到了32才不报错，但是跑了一个星期，实在受不了了，于是疯狂收集资料看看怎么用多卡训练，以下是我所看博客的总结，有错之处请提出并多多指教！最初，百度 多卡训练，给到最多的词条都是教你怎么使用DataParallelDataParallel确实是用于数据并行，但是机理到底是什么？一机多卡到底发生了什么？并行处理
转载
2023-10-30 22:30:32
229阅读
PyTorch框架学习九——网络模型的构建一、概述二、nn.Module三、模型容器Container1.nn.Sequential2.nn.ModuleList3.nn.ModuleDict()4.总结 笔记二到八主要介绍与数据有关的内容，这次笔记将开始介绍网络模型有关的内容，首先我们不追求网络内部各层的具体内容，重点关注模型的构建，学会了如何构建模型，然后再开始一些具体网络层的学习。一、概述
转载
2024-03-14 06:21:17
80阅读
1. 神经网络的结构全连接（FC）网络结构是最基本的神经网络结构，每一个节点与上一层中的所有节点相连接。BP神经网络由输入层、隐藏层和输出层组成。输入层和输出层的节点数取决于问题需要的输出和输出变量的个数，隐藏层节点数需要由开发者进行调试。在神经网络中，只有数据非线性分离时才需要隐藏层。对于一般的数据集，1~2层隐藏层已经足够了。隐藏层中的神经元数量由开发者调试获得。在隐藏层中使用太少的神经元将导
转载
2023-07-11 22:22:22
174阅读
How to train multi-branch output network? How to train the network with multiple branches 一个多分支输出网络（一个Encoder，多个Decoder） 我们期望每个分支的损失L_i分别对各自的参数进行优化，而共 ...
转载
2021-05-08 21:48:02
2374阅读
2评论
# PyTorch 设置网络不可训练
在深度学习中，调整模型的可训练状态是一个常见的任务。无论是为了微调模型的特定层，还是为了提高训练效率，有时我们需要将某些网络层设置为不可训练状态。在这篇文章中，我们将详细探讨如何在PyTorch中设置网络不可训练，并提供相关代码示例。
## 什么是不可训练状态？
在PyTorch中，网络的每一层都有一个属性`requires_grad`，它控制着该层参数
pytorch分布式训练指北第一章节的部分是简单的科普，想看如何在本地及docker内跑pytorch分布式的直接看第二章。1、pytorch分布式代码基础1.1、如何写pytorch的分布式代码这个部分大概讲一下如何写分布式的Pytorch代码，首先，官方pytorch(v1.0.10)在分布式上给出的api有这么两个非常重要的 ，需要使用的：torch.nn.parallel.Distribu
大型网站类目目录的数量很大，一般都无法进行手动标记，所以理解大型目录的内容对在线业务来说是一个重大挑战，并且这使得对于新产品发现就变得非常困难，但这个问题可以通过使用自监督神经网络模型来解决。在过去我们一直使用人工在系统中进行产品的标记，这样的确可以解决问题但是却耗费了很多人力的成本。如果能够创建一种机器学习为基础的通用的方式，在语义上自动的关联产品，并深入了解现有的目录内容，就可以将产品推荐、搜
SiamRPN论文学习笔记（上）引言SiamRPN的网络结构孪生子网络部分区域候选子网络部分RPN的诞生区域候选子网络训练阶段两阶段训练anchors尺寸设置分类分支中anchors正负例选取策略损失函数的选取 引言在目标跟踪领域，孪生网络方法与相关滤波方法是最重要、应用最多的两类方法。在我的上一篇文章中，对孪生网络系列开山之作——SiamFC论文中的主要理论知识进行了简要总结。SiamFC的项
转载
2024-09-05 18:51:11
69阅读
# 如何在PyTorch中设置网络为不训练状态
在深度学习的开发过程中，可能会遇到需要将某些部分的网络设置为不训练状态的情况，例如在某些预训练模型中只想微调特定层。本文将指导你如何在PyTorch中实现这一功能，我们将通过一个简单的流程，并逐步解释每个步骤的代码。
## 整体流程
下面的表格展示了设置网络不训练的主要步骤：
| 步骤 | 描述 |
|
# PyTorch训练多分支网络
## 简介
在深度学习中，多分支网络是一种常见的网络结构。它可以同时处理多个不同任务或者多个输入，并且共享一部分网络参数。本文将介绍如何使用PyTorch训练一个多分支网络的基本流程和代码示例。
## 什么是多分支网络？
多分支网络是一种包含多个分支的神经网络结构。每个分支可以用于不同的任务或者不同的输入数据。这些分支可以共享一部分网络的参数，以减少训练过
原创
2023-08-30 04:09:39
1301阅读
完整的 PyTorch 模型训练的过程：1、数据预处理：首先，需要加载和准备数据。这可以通过使用 torchvision 和 torch.utils.data 中的数据加载器来完成。同时要进行数据预处理，例如缩放、裁剪、旋转、填充等。2、构建模型：接下来，需要定义神经网络模型。PyTorch 提供了一个 nn 模块来快速构建神经网络。该模块包括各种层（例如全连接层、卷积层、池化层等），可以使用它们
转载
2023-08-21 11:37:58
272阅读
