本文介绍 PyTorch 里的数据并行训练，涉及 nn.DataParallel (DP) 和 nn.parallel.DistributedDataParallel (DDP) 两个模块（基于 1.7 版本），涵盖分布式训练的原理以及源码解读（大多以汉字注释，记得仔细读一下 comment ）。内容组织如下：0 数据并行1 DP1.1 使用1.2 原理1.3 实现1.4 分析2 DDP2.1 使
转载
2023-10-29 19:56:57
17阅读
pinpoint是开源在github上的一款APM监控工具，它是用Java编写的，用于大规模分布式系统监控。它对性能的影响最小（只增加约3％资源利用率），安装agent是无侵入式的，只需要在被测试的Tomcat中加上3句话，打下探针，就可以监控整套程序了。这篇Blog主要是想记录一下它安装的过程，方便日后查阅。我安装它用到的2台 CentOS6.8 虚拟机，一台主要部署pinpoint的主程序，一
共享内存（进程间最快通信）：一般数据操作过程把数据从用户态拷贝到内核态，用的时候，再将内核态拷贝到用户态，但共享内存不需要这两步，对虚拟地址空间的操作也就是操作了物理内存，那么另一个虚拟地址空间也可以有这个数据，即不需要拷贝。因为共享内存直接申请一块物理内存通过页表映射到虚拟地址空间中，操作虚拟地址空间，其实是操作同一块物理内存区域，因此进行数据传输时相较于其他通信方 式，少了两步用户态与内核态数
刚刚做项目的时候，MyEclipse提示内存不足，我本本内存1G的呀。错误提示大概如下:MyEclipse has detected that less than 5% of the 64MB of PermGen (Non-heap memory) space remains. It is strongly recommendedthat you exit and restart MyEcli
文章目录前言一、事情起因二、分析stack日志1.列出当前进程的运行列表2.打印进程的GC情况3.列出进程下消耗最高的线程4.导出进程的快照5.查看线程异常信息6.导出进程的dump文件三、dump文件分析1.MAT工具分析报告2.Histogram大对象分析3.优化后结果总结 前言最近遇到了一次生产环境上服务CPU高的问题，本篇会记录问题处理全过程，并分享给大家，希望能够帮助到遇到同样问题的人
前言 pin_memory 和 non_blocking的作用分别是什么?网上看了很多解释，只是稀里糊涂的有个感觉，就是用了这玩意速度能变快，但是不知所以然，这篇文章希望能帮助你解惑，也给自己做个笔记，以备日后查阅。 train_sampler = None train_loader = torch
原创
2022-04-02 11:12:13
1067阅读
在训练神经网络时，如果epochs设置的过多，导致最终结束时测试集上模型的准确率比较低，而我们却想保存准确率最高时候的模型参数，这就需要用到Early Stopping以及ModelCheckpoint。一.早停策略之EarlyStoppingEarlyStopping是用于提前停止训练的callbacks，callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。简而言之，就是
转载
2024-07-10 07:32:33
317阅读
1. 使用Pin进行instrumentationPin提供的API可以让我们观察一个进程的状态，比如：内存、寄存器和控制流。Pin还提供了一些更改程序行为的机制，比如：允许重写程序的寄存器和内存。（DynamoRIO的理念是尽量不影响原程序的执行） Pin通过一个just-in-time (JIT) compiler来实现instrumentation。这个compiler的输入不是bytec
转载
2024-03-17 18:55:09
67阅读
GPU 内存的分级（gpu memory hierarchy）小普 中科院化学所在读博士研究生研究课题，计算机模拟并行软件的开发与应用Email: yaopu2019@126.com （欢迎和我讨论问题） 摘要(Abstact)GPU 的存储是多样化的, 其速度和数量并不相同，了解GPU存储对于程序的性能调优有着重要的意义。本文介绍如下几个问题:1.内存类型有什么？2)查询自
转载
2024-04-26 16:03:55
96阅读
关于什么是锁页内存： pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。 主机中的内存，有两种存在方法，一是锁页，二是不索页，锁页内存存放 ...
转载
2021-07-26 15:23:00
1327阅读
2评论
美国国防部高级研究计划局（DARPA）将支持一项重在实现概念验证的人工智能探索项目，期望在18个月内产生有关人工智能的新思想。美国国防部高级研究计划局（US Defense Advanced Research Projects Agency，DARPA）宣布了一个项目，希望在18个月内让有关人工智能的新思想进入概念验证阶段。人工智能探索（AIE）项目将基于DARPA的“Disruptioneeri
主机内存系统中被CPU访问的内存，分为两种类型：可分页内存（pageable memory,一般应用中默认使用）和页锁定内存（page-locked或者pinned）。可分页内存即为通过操作系统api（malloc(), new()）分配的存储器空间；而页锁定内存始终不会被分配到低速的虚拟内存中，能够保证存在于物理内存中，并且能够通过DMA加速与设备端的通信。为了让硬件使用DMA，操作系统允许主机
转载
2024-02-22 12:18:22
450阅读
在用top可以看到cpu，内存使用情况，top
top - 19:48:16 up 140 days, 18:09,7 users,load average: 0.08, 0.15, 0.17
Tasks: 259 total,1 running, 257 sleeping,0 stopped,1 zombie
Cpu(s):0.0%us,0.0%sy,0.0%ni, 99.5%id,
转载
2024-04-17 11:00:11
124阅读
因为最早接触CUDA是大学时代，至今已经十多年了，有些东西用习惯了、时间久了就不太care了，最近由于工作原因又搞了会CUDA
原创
2022-11-16 23:09:13
510阅读
在科研过程中总结的一些琐碎的pytorch相关知识点。 目录1. 数据加载2. 数据操作3. 模型操作3.1 模式切换3.2 梯度更新3.3 模型保存与加载4. 其他 1. 数据加载锁页内存(pin_memory)是决定数据放在锁业内存还是硬盘的虚拟内存中，默认值为 False。如果设置为True，则表示数据放在锁业内存中。注意：显卡中的内存全部是锁页内存，所以放在锁页内存中可以加快读取速度。当计
转载
2023-11-01 23:39:32
237阅读
目录测试代码的用时torch.utils.data.DataLoaderpin_memorydrop_last卷积偏置biasconv1d(k=1)和lineardropoutdropout与BN一起使用时会出现的问题argparse模块 测试代码的用时参考：https://blog.csdn.net/u013548568/article/details/81368019https://pyto
转载
2023-11-20 14:03:48
124阅读
使用环境：python3.6.8、CUDA10.0、Centos7.5目录 一、前言1.1下载yolov5代码1.2安装yolov5运行时需要的包1.3下载预训练模型和测试二、制作自己的训练数据集2.1使用LabelImg标注自己的数据2.2从VOC标注数据转换为YOLO标注格式三、使用yolov5训练自己的数据集3.1规范自己的数据集3.2编写yaml数据配置文件3.3修改
转载
2024-05-30 09:33:47
185阅读
问： torch里dataloader中的pin_memory和num_workers起什么作用，跟效率有关系吗
答：
在 PyTorch 的 DataLoader 中，pin_memory 和 num_workers 都与数据加载的效率密切相关：
**pin_memory**：
作用：当 pin_memory=True 时，DataLoader 会将数据加载到内存中，并将数据固定（pinn
原创
2024-08-26 22:46:36
536阅读
接上篇： TensorFlow和pytorch中的pin_memory和non_blocking设置是做什么的，又是否有用？？？ 参考： How to Overlap Data Transfers in CUDA C/C++ 如何实现nvidia显卡的cuda的多kernel并发执行？？？ 首先要说
原创
2022-12-11 10:35:01
269阅读
一、内部存储默认情况下，只有自己的应用才可以读取自己的数据。内部存储方式存储的路径在：/data/data/包名/cache目录下，或者/data/data/包名/files目录下。两者的区别是，当系统内存不足时，cache目录下保存的文件信息会被清理掉，而files目录下的文件不会被清理掉。内部存储的存储方式使用IO流来操作比如：在登陆界面上需要将用户输入的登陆名和密码保存在指定的内部存储文件下
转载
2024-03-18 15:27:04
476阅读
