深度学习踩坑记录（缓更） 文章目录深度学习踩坑记录（缓更）1. caffe2线程泄露2.pandas包没有'read_csv'或者‘read_excel’3.RuntimeError: CUDA error: device-side assert triggered4. opencv-python cv2.imshow()等函数调用报错5.dicom2nifti.exceptions.Conver
转载
2024-08-12 10:18:37
386阅读
PyTorch训练中Dataset多线程加载数据，而不是在DataLoader背景与需求现在做深度学习的越来越多人都有用PyTorch，他容易上手，而且API相对TF友好的不要太多。今天就给大家带来最近PyTorch训练的一些小小的心得。大家做机器学习、深度学习都恨不得机器卡越多越好，这样可以跑得越快，道理好像也很直白，大家都懂。实际上我们在训练的时候很大一部分制约我们的训练的速度快慢被IO限制住
转载
2023-09-14 00:06:18
256阅读
多线程，实现对CPU、GPU状态的监控 文章目录一、获取代码运行时间二、对CPU、GPU状态的监控三、多线程:threading模块的Thread类a、核心要点b、第一种方法添加子线程：实例化Thread类c、第二种方法添加子线程：自定义Thread的子类，重写run方法 一、获取代码运行时间（参考链接）import time
start=time.time()
#中间写上代码块
end=time
转载
2023-07-24 06:53:34
240阅读
用单机单卡训练模型的时代已经过去，单机多卡已经成为主流配置。如何最大化发挥多卡的作用呢？本文介绍Pytorch中的DistributedDataParallel方法。
用单机单卡训练模型的时代已经过去，单机多卡已经成为主流配置。如何最大化发挥多卡的作用呢？本文介绍Pytorch中的DistributedDataParallel方法。1. DataPara
转载
2023-07-12 14:08:15
737阅读
1.问题描述 2.解决方案 （1）Dataloader里面不用cv2.imread进行读取图片，用cv2.imread还会带来一系列的不方便，比如不能结合torchvision进行数据增强，所以最好用PIL 里面的Image.open来读图片。（并不适用本例） （2）将DataLoader 里面的参变量num_workers设置为0，但会导致数据的读取很慢，拖慢整个模型的训练。（并不适用本例） （
转载
2023-10-11 21:14:17
70阅读
文章目录一、引言二、背景与需求三、方法的实现四、代码与数据测试五、测试结果5.1、Max elapse5.2、Multi Load Max elapse5.3、Min elapse5.4、下面来看是否 data_loader_workers越大越好？5.5、下面来看是否 dataset_workers越大越好5.6、下面来看是否 prefetch_factors越大越好5.7、prefetch_
转载
2024-06-11 07:12:33
153阅读
文章目录总览1. 必知概念代码示例1. DP(torch.nn.DataParallel)2. DDP(torch.nn.parallel.DistributedDataParallel)示例1示例22.1 环境配置2.2 数据集 与 加载器构造2.3 模型2.4 训练 总览pytorch提供了两种方式实现并行训练：单机多GPU可以使用 torch.nn.DataParallel接口(DP,旧的
转载
2023-08-08 11:17:50
862阅读
# PyTorch多线程加载GPU导致设备繁忙
在使用PyTorch进行深度学习模型训练时，通常会使用GPU来加速计算，以提高训练速度和效率。然而，有时候在多线程加载数据时会遇到GPU设备繁忙的问题，这会影响训练过程的顺利进行。本文将介绍导致GPU设备繁忙的原因，并提供解决方法。
## 问题分析
当在多线程加载数据时，如果加载数据的速度超过了GPU处理数据的速度，就会导致GPU设备繁忙的问题
原创
2024-03-31 05:22:24
82阅读
DataLoaderDataLoader 是 PyTorch 中读取数据的一个重要接口，该接口定义在 dataloader.py 文件中，该接口的目的： 将自定义的 Dataset 根据 batch size 的大小、是否 shuffle 等封装成一个 batch size 大小的 Tensor，用于后面的训练。通过 DataLoader，使得我们在准备 mini-batch 时可以多线程并行处理
转载
2023-06-07 14:56:03
292阅读
一、问题描述本地电脑编译的“人证比对”工程，拿到其他电脑运行，不能调用CUDA核，只能在CPU上进行运算，因此，识别速度非常慢。本地电脑-A：rtx2060, 显卡驱动，cuda10.1其他电脑-B：geforce1060，显卡驱动二、解决过程1. 因为B机器上使用的Openpose工程可以正常使用cuda，怀疑是工程配置问题。 （1）在A电脑的Openpose工程下，使
转载
2024-03-22 09:40:11
433阅读
先吐槽一下自己的理解路程： （1）自己先看过移动GPU相关的术语和解释，只get到了多线程和并行等之类的名词，至于多线程是怎么一步一步来产生使用优化的？？？！！！！！ 还是稀里糊涂的 （2）后来看《Real-time rendering 4th》 中文版，由于自己对名词的混淆，感觉自己全乱了，我擦！！！！！！！ （3）怎么办 ？看原著！！！！！！！ 抱着有道词典，开始啃相关的内容，有了新的感悟，将
转载
2024-04-15 22:38:52
80阅读
目录《GPU并行算法》读书笔记-chapter 3 CUDA线程模型SIMD模型SIMT模型kernel函数CUDA线程结构blockgrid线程的全局IDCUDA结构与GPU硬件的映射关系CUDA线程设计执行配置什么是执行配置如何设置执行配置参数重要知识点总结device函数自动生成kernelCUDA线程同步《GPU并行算法》读书笔记-chapter 3 CUDA线程模型SIMD模型SIMD（
转载
2024-05-02 16:11:14
279阅读
多线程是加速程序计算的有效方式，类似于并行计算，在一个脚本中同一时间同时运行多个程序。1.多线程基础操作：1.1导入模块import threading1.2获取已激活的线程数print(threading.active_count())1.3查看所有线程信息print(threading.enumerate())
# [<_MainThread(MainThread, started 14
转载
2024-06-10 15:44:37
80阅读
前言 一、什么是多线程？ 1.多线程介绍2.多线程实现原理？3.白话文解释多线程4.多线程存在的问题二、什么是高并发? 1.高并发介绍2.如何提升系统的并发能力三、多线程和高并发 总结前言 本文主要是针对多线程和高并发的概念做了简单的描述，介绍了什么是多线程，什么是高并发，并且对多线程和高并发的关系做了比较描述。一、什么是多线程？ 1.多线程介绍什么是多线程，首先看下百度百科对多线程的定义；多线程
多线程我们应该都不陌生，在操作系统中，进程是资源分配的基本单元，而线程是CPU时间调度的基本单元（这里假设只有1个CPU）。将线程的概念引申到CUDA程序设计中，我们可以认为线程就是执行CUDA程序的最小单元，前面我们建立的工程代码中，有个核函数概念不知各位童鞋还记得没有，在GPU上每个线程都会运行一次该核函数。但GPU上的线程调度方式与CPU有很大不同。CPU上会有优先级分配，从高到低，同样优先
转载
2024-04-09 11:06:14
57阅读
目标：优化代码，利用多进程，进行近实时预处理、网络预测及后处理：本人尝试了pytorch的multiprocessing，进行多进程同步处理以上任务。from torch.multiprocessing import Pool,Manager为了进行各进程间的通信，使用Queue，作为数据传输载体。manager = Manager()
input_queue = manager.Queue()
转载
2023-09-03 10:37:28
262阅读
目标：优化代码，利用多进程，进行近实时预处理、网络预测及后处理：本人尝试了pytorch的multiprocessing，进行多进程同步处理以上任务。from torch.multiprocessing import Pool,Manager为了进行各进程间的通信，使用Queue，作为数据传输载体。 manager = Manager() inp
转载
2023-09-14 00:06:37
235阅读
DDP是目前Pytorch推荐的多GPU训练方法，它支持单机多卡，多机多卡等情况。目前pytorch对DDP技术中进程的启动方式又分为launch脚本启动，和mp模启动。就目前而言，pytorch更推荐采用mp的方法，但launch的方法使用的也很广，所以下面一并做一些介绍。1.DataParallel 和 DistributedDataParallel之间的比较首先，DP是单进程多线程，只可以在
转载
2023-10-17 22:44:04
407阅读
多线程和多进程的基本原理首先当在计算机上面打开多软件时，比如浏览网页，听音乐和打字，仔细一想为什么这么多软件能够同时进行？ 其实这些涉及多线程，多进程，同样在编写一个爬虫程序的时候，为了提升爬取的效率会涉及多线程和多进程，相信很多搞scrapy分布式的道友都不能解释为什么用了多线程或者多进程就能加快，本篇文章不讲代码主要讲原理1.多线程的含义 讲多线程之前要
torch.multiprocessing 是 Python 的 multiprocessing 的直接替代模块。它支持完全相同的操作，但进行了扩展，这样所有的张量就可以通过一个 multiprocessing.Queue 进行传递，将数据移动到共享内存并只将句柄传递到另一个进程。注意当一个 Tensor 传递到另一个进程时，Tensor 的数据是共享的。如果 torch.Tensor.grad
转载
2024-05-14 19:48:25
475阅读
