文章目录前言一、依赖二、特点三、文件夹结构四、用法1. config文件2. 使用 config.json3. 从检查点（checkpoint）继续4. 使用多个GPU五、自定义1. 自定义 CLI 选项2. DataLoader3. Trainer4. Model5. Loss6. 评价指标（Metrics） 前言如同传统程序项目开发一样，在深度学习项目中，有很多程式化的、可封装的代码段。将此
转载
2023-12-25 09:23:23
52阅读
数据处理在解决深度学习问题的过程中，往往需要花费大量的精力去处理数据，包括图像、文本、语音或其它二进制数据等。数据的处理对训练神经网络来说十分重要，良好的数据处理不仅会加速模型训练，更会提高模型效果。考虑到这点，PyTorch提供了几个高效便捷的工具，以便使用者进行数据处理或增强等操作，同时可通过并行化加速数据加载。数据加载在PyTorch中，数据加载可通过自定义的数据集对象。数据集对象被抽象为D
转载
2023-07-11 22:03:41
418阅读
Pytorch 基础组件学习注：本文为学习 DataWhale 开源教程《深入浅出 Pytorch》第三章所做学习笔记，仅记录笔者认为价值较高且之前接触较少的知识点1. 数据读取 Pytorch 的数据读取通过 Dataset + DataLoader 实现，Dataset 定义了数据的格式和数据变换方式，DataLoader 定义了如何从数据集中加载每一批数据。 定义 Dataset 类需要继承
转载
2023-09-04 15:57:38
187阅读
# PyTorch DataLoader 的 getitem 返回空实现教程
在使用 PyTorch 进行深度学习的过程中，`DataLoader` 是一个非常重要的组件，用于批量加载数据。在实现 `DataLoader` 时，可能会碰到一个问题：`getitem` 方法返回了空值。本文将详细介绍如何实现一个数据加载器，确保 `getitem` 方法返回正确的数据，并排查 `getitem` 返
由于新型冠状肺炎疫情一直没能开学，在家自己学习了一下pytorch，本来说按着官网的60分钟教程过一遍的，但是CIFAR-10数据库的下载速度太慢了……这台电脑里也没有现成的数据库，想起之前画了一些粒子的动量分量分布图，干脆拿来用了，也没期待它能表现得多好，主要图一个练手。（事实证明它表现相当差，不过这也在意料之中）那么开始。 import 接下来定义读取和处理图片的函数，图片尺
转载
2024-09-24 19:23:23
44阅读
# Pytorch Dataloader getitem运算量很大的解决方法
作为一名经验丰富的开发者，我将教会你如何解决"Pytorch Dataloader getitem运算量很大"的问题。在本文中，我将向你展示整个解决问题的流程，并逐步指导你在每一步中需要做什么，以及需要使用的代码。
## 解决问题的流程
下面是解决问题的流程，我将用表格的形式展示每一步的行动。
| 步骤
原创
2023-10-09 08:12:21
76阅读
在使用 PyTorch 进行大型数据集的处理时，`__getitem__` 方法的读取效率成为一个常见的问题。长时间的加载时间不仅影响了训练过程，也增加了调试的复杂性。在我的工作中，我们常常需要优化数据读取速度，确保训练过程尽可能顺畅。接下来，我将系统性地记录下我在解决“PyTorch 的 `__getitem__` 读取大文件慢”问题时的思考与实践过程。
## 版本对比
对比 PyTorch
Dataset & Dataloader 1、Dataset & Dataloader作用※Dataset—加载数据集，用索引的方式取数※DataLoader—Mini-Batch通过获得DataSet的索引以及数据集大小，来自动得生成小批量训练集DataLoader先对数据集进行Shuffle，再将数据集按照Batch_Size的长度划分为小的Batch，并按照Iter
转载
2023-11-15 07:09:03
111阅读
class pe(): def __init__(self): self.lis=[1,2,3] def __getitem__(self,itm): return self.lis[itm] p=pe()for i in p: print(i)#for循环一个对象
原创
2019-01-14 12:57:12
1878阅读
目前神经网络的监督学习过程通常为：数据加载（load）进神经网络经过网络参数对数据的计算，得出预测值（predict）根据预测值与标注值（label）之间的差距，产生损失（loss）通过反向传播（BP：Back Propagation）对神经网络的各个参数产生梯度（gradient）依据特定的梯度下降算法（如SGD：Stochastic Gradient Descent随机梯度下降），基于梯度对参
转载
2023-08-28 15:02:06
239阅读
目录
命名空间/类/方法/函数/变量
torch.autograd.Function中的ctx参数
DDP(DistributedDataParallel)的构造函数
torch.floor(input, out=None)
nametuple
argmax
view函数
void c10::TensorImpl::refresh_c
转载
2024-04-01 00:00:20
212阅读
Pytorch源码学习01什么是 PyTorch？张量张量初始化1. 直接生成张量2. 通过Numpy数组来生成张量3. 通过已有的张量来生成新的张量4. 通过指定数据维度来生成张量张量属性张量运算1. 张量的索引和切片2. 张量的拼接3. 张量的乘积和矩阵乘法（==逐个元素相乘结果==）4.张量与张量的矩阵乘法（==矩阵运算==）5. 自动赋值运算Tensor与Numpy的转化1. 由张量变换
转载
2023-07-12 01:06:40
148阅读
Transformer模型早在2017年就出现了，当时实验室的分享也有关于这个的。但我当时没有意识到这篇论文的厉害之处，听名字感觉像是那种昙花一现的论文，也没有关注它。直到最近出现了BERT这一神物之后，方才后知后觉此时Transformer已然这么有用！因此，这才仔仔细细地撸了这篇“古老”的论文和源码，这里将主要对照论文和相应的PyTorch源码进行逐一对照解读。因笔者能力有限，如有不详实之处，
转载
2023-10-29 10:24:13
67阅读
主要内容1 Dataset2 Sampler3 DataLoader3.1 三者关系 (Dataset, Sampler, Dataloader)3.2 批处理3.2.1 自动批处理（默认）3.2.3 collate_fn3.3 多进程处理 (multi-process)4 预取 (prefetch)5 代码详解 本篇博文主要用来记录参考链接中的所学重要知识，梳理清楚。 1 DatasetDa
转载
2023-06-18 15:30:52
363阅读
1. torch.utils.data.DataLoader类：class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=, pin_memory=False, drop_last=False,
转载
2024-05-16 14:11:05
59阅读
1. 源码概览pytorch是众多dl工具中，比较python风格化的一种，另一个完全python化的dl工具是chainer,它的构建语言中只有python，甚至cuda也是从python端调用的。python风格化的好处是，使用了很多python的语言特性，让代码更加简洁，更高效。《python高级编程》的第2、3章，描述了部分python的高级语言特性，比如：列表推导，迭代器和生成器，装饰器
转载
2023-09-02 22:23:16
88阅读
我们继续分析著名的attention is all you need 论文的pytorch实现的源码解析。 由于项目很大，所以我们会分开几讲来进行讲解。上一讲连接在此： Attention is all you need pytorch实现 源码解析01 - 数据预处理、词表的构建 - Attention is all you need pytorch实现 源码解析02 - 模型的训练（1）- 模
转载
2023-11-09 07:31:18
469阅读
目录概述BERT模型架构Input RepresentationPre-training TasksTask #1: Masked LMTask #2: Next Sentence PredictionPre-training ProcedureFine-tuning ProcedureComparison of BERT and OpenAI GPT实验GLUE Datasets
PyTorch源码浅析(1)：THTensorPyTorch中Tensor的存储和表示分开，多个THTensor可能共享一个THStorage，每个THTensor可能拥有不同的view（e.g. size, stride）。这样设计的好处是，有时看起来不一样的数据底层是共享的，比如矩阵与矩阵的转置、二维矩阵与二维矩阵变成一维时的矩阵。这部分的主要实现在pytorch/aten文件夹中，这里面既实
转载
2023-08-10 16:07:29
114阅读
Dropout1.CLASS torch.nn.Dropout(p=0.5, inplace=False)训练过程中按照概率p随机地将输入张量中的元素置为0evere channel will be zeroed out independently on every forward call.Parameters:p(float):每个元素置为0的概率，默认是0.5inplace(bool):是否
转载
2023-08-14 13:21:59
113阅读
