1 数据集加载pytorch中数据集加载相关的类主要有 DateSet 和 DateLoader；数据集加载我打算分两个系列来写：基础版和升级版。基础版的数据加载，数据是现成的，不需要自己写程序进行额外处理，直接调用已有函数即可；升级版本中，涉及到了自己制作数据集的情况，有时候还需要自己实现dataset 类， 主要实现三个函数 __init__, __len__, __getitem
转载
2023-11-23 15:56:56
99阅读
接触机器学习和深度学习已经有一段时间了，一直想做个记录，方便自己以后的查阅。 一开始我搭建神经网络时所使用的框架是Tensorflow，虽然功能强大但是不同版本代码的兼容性有些差强人意。 以下的内容所创建的环境是Anaconda中的虚拟环境，采用的python版本是3.8，cuda和cudnn都是对应的版本。 搭建和训练神经网络分为以下几个步骤：1
转载
2023-11-06 13:11:52
49阅读
PyTorch实战LSTM新闻分类开源项目地址：https://github.com/ljyljy/Text_classification_of_THUCNews 数据集和代码都在其中，代码含有很多注解，可以跟随Debug看一下代码运行逻辑。 文章目录PyTorch实战LSTM新闻分类运行数据输入解读项目代码解读 运行你需要安装tensorboardX，安装方法：你需要先安装tensorboard
转载
2023-09-14 12:56:09
269阅读
1.张量数据类型张量的数据类型和numpy.array基本一一对应，但是不支持str类型，有如下几种形式torch.float64 # 等同于（torch.double）
torch.float32 # 默认
torch.float16
torch.int64 # 等同于torch.long
torch.int32 # 默认
torch.int16
torch.int8
torch.uin
转载
2024-05-15 13:38:01
409阅读
正如numpy包中的array，Pandas包中的Series和Dataframe一样，为了方便计算，Pytorch也在Python数据结构的基础上封装了几个基本的数据结构。一、张量（Tensor）没错，就是TensorFlow名字里的Tensor，本来谷歌给TensorFlow命名的时候就是给这个框架赋予了深度学习就是“张量流动”的深刻内涵。因为深度学习处理的数据量和维度都比较大，所以很多深度学
转载
2024-01-25 20:24:09
52阅读
前面讲了深度学习&PyTorch 之 DNN-二分类，本节讲一下DNN多分类相关的内容，这里分三步进行演示结构化数据我们还是以iris数据集为例，因为这个与前面的流程完全一样，只有在模型定义时有些区别损失函数不一样 二分类时用的损失函数是：loss_fn = nn.BCELoss() 在多分类时需要使用： loss_fn = torch.nn.CrossEntropyLoss()输出类别不
转载
2023-10-09 22:08:17
53阅读
BERT 是一个强大的语言模型，至少有两个原因：它使用从 BooksCorpus （有 8 亿字）和 Wikipedia（有 25 亿字）中提取的未标记数据进行预训练。顾名思义，它是通过利用编码器堆栈的双向特性进行预训练的。这意味着 BERT 不仅从左到右，而且从右到左从单词序列中学习信息。BERT 模型需要一系列 tokens (words) 作为输入。在每个token序列中，BERT 期望输入
文本分类能做什么？ 识别垃圾邮件、情感分析、主题分类等文本分类在文本处理中是很重要的一个模块，它的应用也非常广泛，比如：垃圾过滤，新闻分类，词性标注等等。它和其他的分类没有本质的区别，核心方法为首先提取分类数据的特征，然后选择最优的匹配，从而分类。但是文本也有自己的特点，根据文本的特点，文本分类的一般流程为：预处理；文本表示及特征选择；构造分类器；分类。分类问题模型： 分类器 分类器是一个函数f，
转载
2023-08-11 22:07:53
69阅读
Pytorch搭建网络模型-ResNet一、ResNet的两个结构首先来看一下ResNet和一般卷积网络结构上的差异：图中上面一部分就是ResNet34的网络结构图，下面可以理解为一个含有34层卷积层的CNN，它们的差异就在于是否存在箭头。而这个箭头就是ResNet的特殊结构之一：shortcut（Residual的组成部分）；另一个结构就是Batch Normalization(BN，批量归一化
转载
2023-09-27 08:14:50
70阅读
引言本文将解释一个卷积神经网络(CNN)的一般结构，从而有助于了解如何分类不同类别的图像(在我们的案例中不同类型的动物) ，使用 PyTorch 从头开始编写一个 CNN 模型。先决条件Python 基础知识对神经网络的基本理解对卷积型神经网络(CNN)的基本理解使用的数据集Animals-10 数据集，小伙伴们可以从这个网址中下载：https://www.kaggle.com/alessioco
转载
2024-06-21 18:38:39
94阅读
Tensor attributes: 在tensor attributes中有三个类，分别为torch.dtype, torch.device, 和 torch.layout。 其中， torch.dtype 是展示 torch.Tensor 数据类型的类，pytorch 有八个不同的数据类型,下表是完整的 dtype 列表.创建tensor 1、直接创建 torch.tensor(data, d
转载
2023-10-09 14:02:58
158阅读
# 使用 PyTorch 实现垃圾分类数据集
垃圾分类是一个非常重要的研究领域，运用深度学习进行有效分类可以大大降低环境污染。本文旨在引导初学者使用 PyTorch 构建一个垃圾分类数据集的过程。我们将通过一系列步骤，逐步实现这一目标。
## 整体流程
在整个项目中，我们将按照以下步骤进行：
| 步骤编号 | 步骤 | 描述
原创
2024-09-16 03:14:05
177阅读
本文内容：以MNIST手写体分类数据集开始；构建一个简单的神经网络，并且追踪训练时的损失（loss）；在Fashion MNIST上使用Lenet架构进行分类；计算Fashion MNIST上的训练及测试环节的精度与损失；对结果使用图进行可视化 一、以MNIST手写体分类数据集开始；1）加载相关的包1 import torch
2 import torchvision
3 impor
转载
2023-06-15 08:42:06
125阅读
前言最近在b站发现了一个非常好的 计算机视觉 + pytorch 的教程，相见恨晚，能让初学者少走很多弯路。 因此决定按着up给的教程路线：图像分类→目标检测→…一步步学习用pytorch实现深度学习在cv上的应用，并做笔记整理和总结。up主教程给出了pytorch和tensorflow两个版本的实现，我暂时只记录pytorch版本的笔记。参考内容来自：up主的b站链接
up主将代码和ppt都放在
提示：本文第二部分为代码实现 文章目录第二章：Pytorch框架构建残差神经网络(ResNet)前言一、残差网络（ResNet）简介1.背景介绍2.提出ResNet的原因3.关键技术3.残差网络结构特点二、代码实现一个简单Residual Block1.导入相关数据包2.定义ResnetbasicBlock类，实现一个简单block3.展示ResNet34网络架构本文代码 前言 神经网络模型想取
转载
2023-10-12 16:36:50
104阅读
目录一、torch和torchvision1、torchvision.datasets2、torchvision.models3、torchvision.transforms4、torchvision.utils二、MNIST手写数字识别1、获取MNIST训练集和测试集2、数据装载3、数据预览4、构建卷积神经网络模型5、对模型进行训练和参数优化6、对训练模型进行保存和加载7、MNIST手写数字识别
转载
2023-09-08 19:01:38
108阅读
pytorch实现时频图多分类1.数据集导入2.网络层模块定义3.开始训练并输出训练集准确率及损失4.测试验证集准确率及损失5.将最后训练好的模型保存下来6.测试模型准确度如何将整个训练过程放在GPU上确定终端GPU可用确定训练过程是在GPU上进行1.通过任务管理器2. 在命令行中输入nvidia-smi -l n 1.数据集导入import torch
import torch.nn as n
转载
2023-08-11 12:58:25
252阅读
文章目录前言一、数据准备1.1 导入外部数据，构造Dataset类1.2 DataLoader函数装载自定义Dataset二、构建VGG神经网络模型2.1 定义模型结构2.1 定义损失函数和优化器三、训练和测试神经网络模型3.1 定义训练网络3.2 定义测试网络四、主函数和参数配置4.1 主函数4.2 参数配置（自行练习） 前言利用Pytorch构建VGG分类网络，对MNIST（60000张1
转载
2023-08-31 21:54:49
107阅读
一、什么是PyTorch? PyTorch是一个python库，主要提供了两个高级功能：GPU加速的张量计算构建在反向自动求导系统上的深度神经网络 1.用来定义数据 &nb
转载
2023-09-27 22:27:37
76阅读
神经网络学习小记录59——Pytorch搭建常见分类网络平台（VGG16、MobileNetV2、ResNet50）学习前言源码下载分类网络的常见形式分类网络介绍1、VGG16网络介绍2、MobilenetV2网络介绍3、ResNet50网络介绍a、什么是残差网络b、什么是ResNet50模型分类网络的训练1、LOSS介绍2、利用分类网络进行训练a、数据集的准备b、数据集的处理c、开始网络训练
转载
2023-09-15 23:19:50
82阅读
