性能优化记录实验中碰到了一些性能方面的瓶颈，诸如显存OOM之类的错误，特开此贴抛砖引玉，为了后面更优雅的代码实现。显存优化图卷积相关领域通常有公式 其中一般是预先计算好的，并以稀疏矩阵的方式存储在Model里面。当节点数过多的时候，这个矩阵会占用很多显存，同时由于一些未知原因，用这个大矩阵乘上后面的H时，显存会占用。在我的场景下，6个G的sparsetensor ×一个几十M dense tens
使用pytorch DataParallel进行分布式训练一、nn.DataParallel大致流程二、nn.DataParallel参数解读三、代码讲解1.使用DataParallell的细节2.全部代码四、总结 深度学习中经常要使用大量数据进行训练，但单个GPU训练往往速度过慢，因此多GPU训练就变得十分重要。pytorch使用两种方式进行多GPU训练，他们分别是 DataParallel
转载
2023-11-26 21:07:18
63阅读
3.1 基本配置3.1.1 常用包import os
import numpy as np
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader
import torch.optim as optimizer3.1.2 GPU的
转载
2023-10-06 13:49:57
204阅读
简而言之，这个参数就是用来设定dataloader最后输出的batch内容；dataloader一次性从dataset得到batch大小的数据，但这些数据本身是分散的，拿图片举例，比如我们batch为8，则我们得到的是8个[3,256,256]（256为图片形状，随便设置的）大小的张量，通过collate_fn这个参数转化为形状为[8，3，256，256]的张量作为dataloader的输出。一般
转载
2024-03-21 10:39:38
79阅读
1.使用DIH上传结构化数据 许多搜索应用索引结构化数据,如关系型数据库.DIH提供了一个这样的存储并索引结构化数据的机制.除了关系型数据库,solr可以索引来自HTTP的内容,基于数据源如RSS和ATOM feeds,e-mail库和结构化XML(可以使用XPath来生成字段) 更多信息参考 https://wiki.apache.org/solr/DataImportHandler.1.1
题外话：傍晚晚饭过后，总喜欢和朋友吹吹牛，和大多数人一样，我们的话题很日常，无非就是女人、前途和生活琐碎。如果某一个人感性一点或许会将话题会升华到事业以及自己对未来的畅想和规划。而作为同是搞计算机编程的，代码是必然会聊到的主题。今天我想分享的就是一个看似简单却不那么简单的问题，SimpleDateFormat的线程安全问题。问题：你知道SimpleDateFormat是否线程安全吗？假如你知道，那
Tutorial 8: Loading Maya 2011 Models
第八章：加载Maya2011模型
This tutorial will cover how to import static 3D models from Maya 2011. Note that this tutorial will be focused on Maya but
作用collate_fn：即用于collate的function，用于整理数据的函数。
说到整理数据，你当然要会用数据，即会用数据制作工具torch.utils.data.Dataset，虽然我们今天谈的是torch.utils.data.DataLoader。
collate_fn笼统的说就是用于整理数据，通常我们不需要使用，其应用的情形是：各个数据长度不一样的情况，比如第一张图片大小是2828
转载
2024-03-26 12:49:29
205阅读
基本配置1.导入必须的包。2.超参数的统一设置。batch size初始学习率（初始）训练次数（max_epochs）GPU配置batch_size = 16
lr = 1e-4
max_epochs = 100
#GPU配置
# 方案一：使用os.environ，这种情况如果使用GPU不需要设置
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1'
# 方案二
转载
2023-11-08 14:26:48
384阅读
在学习某一神经网络框架时，数据流总是能帮助大家更好地理解整个模型的运行逻辑/顺序，而其中Dataloader的作用在某些时候更是至关重要的。 笔者将自己的学习到的关于dataloader的创建，作用尽可能详细地记录下来以方便日后回顾，也欢迎各位匹配指正。一句话概括Dataloader本质是一个迭代器对象，也就是可以通过for batch_idx,batch_dict in dataloader 来
转载
2024-07-11 19:04:33
398阅读
一、前言最近开始重新记载我学习的pytorch笔记。今天讲的是加载数据的模块，为什么要写这个模块呢？因为我最近自己生成了个全新的数据集，需要加载，所以顺便把这个部分复习整理一下,列出了我觉得需要知道的一些技术点。提醒： 这篇文章可能会出现大量的代码。二、初时DataSet研究事情咱们还是要归于本身，所以我们直接先看这个类的源码部分。 class Dataset(object):
转载
2024-10-20 11:32:29
54阅读
DataLoader是PyTorch中的一种数据类型。
在PyTorch中训练模型经常要使用它，那么该数据结构长什么样子，如何生成这样的数据类型？
下面就研究一下：
先看看 dataloader.py脚本是怎么写的（VS中按F12跳转到该脚本）
__init__（构造函数）中的几个重要的属性：
1、dataset：（数据类型 dataset）
输入的数据类型。看名字感觉就像是数据库，C#里面也有
这里写目录标题使用collate_fn单进程和多进程数据加载平台特定行为多进程数据加载中的随机性内存固定(Memory Pinning)torch.utils.data.DataLoadertorch.utils.data.Datasettorch.utils.data.IterableDataset 使用collate_fn当启用或禁用自动批处理时，collate_fn的使用略有不同。禁用自动
简而言之，这俩就是自动帮我们取数据，避免了接触底层代码1、前言机器学习模型训练五大步骤；第一是数据，第二是模型，第三是损失函数，第四是优化器，第五个是迭代训练过程。 这里主要学习数据模块当中的数据读取，数据模块通常还会分为四个子模块:数据收集、数据划分、数据读取、数据预处理。 在进行实验之前，需要收集数据，数据包括原始样本和标签； 有了原始数据之后，需要对数据集进行划分，把数据集划分为训练集、验证
转载
2024-06-17 19:45:52
234阅读
pytorch数据加载： ①totchvision 的包，含有支持加载类似Imagenet，CIFAR10，MNIST 等公共数据集的数据加载模块 torchvision.datasetsimport torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader
trainset = torchvisio
转载
2024-04-19 14:23:32
83阅读
网络状况是互联网发展与软件发展的一个很大的瓶颈，如果哪天访问网上资源能象访问本地硬盘，或者能象访问内存那样快，那样咱们的计算机以后只需要输入输出设备以及网络设备就可以了，哈哈，这只是一个美好的愿望。 Flex应用在Web开发上，避免不了网络问题，下面的说明如何在加载数据时显示L
制作自定义数据集新的存储方式读取txt文件中的路径和标签读取完整的数据路径数据预处理整理任务，制作模型实例化我们的dataloader检测实例化是否正确代码整合 新的存储方式上节中，我们介绍了图像分类模型，所用的数据集是不同命名的文件夹存储各类花朵的图片。然而由于这样的存储方式应用很少，所以在实战中不算实用。本次我们介绍另外一种较为常见且比较简单的数据存储方式，将训练集和测试集图片放在两个文件价
转载
2024-09-14 08:32:17
61阅读
目录数据读取部分DatasetDataLoader模型训练优化器设置损失函数设置设备设置模型训练保存、加载模型 数据读取部分Dataset数据类，需要自己实现，后续需要传入torch.utils.data.DataLoader中需要自己实现对数据的读取类myDataset，myDataset需要继承torch.utils.data.Dataset在myDataset中需要：重写__getitem
转载
2024-10-10 16:31:00
65阅读
Override 与OverLoad的区别这个本来应该在写实验的时候就写完，但是当时老是被乱七八糟的事分去精力，做往年期末复习题遇到了相关知识点，现在补上，作为复习整理。多态性的不同表现Override：在子类中如果需要定义一个与父类重名且参数相同的方法，这种操作成为重写（Override）。当我们调用子类的这个方法时，父类中的同名方法将被屏蔽。OverLoad：在同一个类中如果需要定义多个同名的
我们用实验室带有多块卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel函数加入以下代码段来用多个GPU来加速训练。device_ids = [0, 1]
net = torch.nn.DataParallel(net, device_ids=device_ids)然鹅，也常常会由于正在运行程序的0卡显存不够放不下我们新来的
转载
2023-10-19 12:29:05
231阅读
