刚刚做项目的时候，MyEclipse提示内存不足，我本本内存1G的呀。错误提示大概如下:MyEclipse has detected that less than 5% of the 64MB of PermGen (Non-heap memory) space remains. It is strongly recommendedthat you exit and restart MyEcli
文章目录前言一、事情起因二、分析stack日志1.列出当前进程的运行列表2.打印进程的GC情况3.列出进程下消耗最高的线程4.导出进程的快照5.查看线程异常信息6.导出进程的dump文件三、dump文件分析1.MAT工具分析报告2.Histogram大对象分析3.优化后结果总结 前言最近遇到了一次生产环境上服务CPU高的问题，本篇会记录问题处理全过程，并分享给大家，希望能够帮助到遇到同样问题的人
pinpoint是开源在github上的一款APM监控工具，它是用Java编写的，用于大规模分布式系统监控。它对性能的影响最小（只增加约3％资源利用率），安装agent是无侵入式的，只需要在被测试的Tomcat中加上3句话，打下探针，就可以监控整套程序了。这篇Blog主要是想记录一下它安装的过程，方便日后查阅。我安装它用到的2台 CentOS6.8 虚拟机，一台主要部署pinpoint的主程序，一
共享内存（进程间最快通信）：一般数据操作过程把数据从用户态拷贝到内核态，用的时候，再将内核态拷贝到用户态，但共享内存不需要这两步，对虚拟地址空间的操作也就是操作了物理内存，那么另一个虚拟地址空间也可以有这个数据，即不需要拷贝。因为共享内存直接申请一块物理内存通过页表映射到虚拟地址空间中，操作虚拟地址空间，其实是操作同一块物理内存区域，因此进行数据传输时相较于其他通信方 式，少了两步用户态与内核态数
1. 使用Pin进行instrumentationPin提供的API可以让我们观察一个进程的状态，比如：内存、寄存器和控制流。Pin还提供了一些更改程序行为的机制，比如：允许重写程序的寄存器和内存。（DynamoRIO的理念是尽量不影响原程序的执行） Pin通过一个just-in-time (JIT) compiler来实现instrumentation。这个compiler的输入不是bytec
转载
2024-03-17 18:55:09
67阅读
GPU 内存的分级（gpu memory hierarchy）小普 中科院化学所在读博士研究生研究课题，计算机模拟并行软件的开发与应用Email: yaopu2019@126.com （欢迎和我讨论问题） 摘要(Abstact)GPU 的存储是多样化的, 其速度和数量并不相同，了解GPU存储对于程序的性能调优有着重要的意义。本文介绍如下几个问题:1.内存类型有什么？2)查询自
转载
2024-04-26 16:03:55
96阅读
关于什么是锁页内存： pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。 主机中的内存，有两种存在方法，一是锁页，二是不索页，锁页内存存放 ...
转载
2021-07-26 15:23:00
1327阅读
2评论
本文介绍 PyTorch 里的数据并行训练，涉及 nn.DataParallel (DP) 和 nn.parallel.DistributedDataParallel (DDP) 两个模块（基于 1.7 版本），涵盖分布式训练的原理以及源码解读（大多以汉字注释，记得仔细读一下 comment ）。内容组织如下：0 数据并行1 DP1.1 使用1.2 原理1.3 实现1.4 分析2 DDP2.1 使
转载
2023-10-29 19:56:57
17阅读
美国国防部高级研究计划局（DARPA）将支持一项重在实现概念验证的人工智能探索项目，期望在18个月内产生有关人工智能的新思想。美国国防部高级研究计划局（US Defense Advanced Research Projects Agency，DARPA）宣布了一个项目，希望在18个月内让有关人工智能的新思想进入概念验证阶段。人工智能探索（AIE）项目将基于DARPA的“Disruptioneeri
主机内存系统中被CPU访问的内存，分为两种类型：可分页内存（pageable memory,一般应用中默认使用）和页锁定内存（page-locked或者pinned）。可分页内存即为通过操作系统api（malloc(), new()）分配的存储器空间；而页锁定内存始终不会被分配到低速的虚拟内存中，能够保证存在于物理内存中，并且能够通过DMA加速与设备端的通信。为了让硬件使用DMA，操作系统允许主机
转载
2024-02-22 12:18:22
450阅读
在用top可以看到cpu，内存使用情况，top
top - 19:48:16 up 140 days, 18:09,7 users,load average: 0.08, 0.15, 0.17
Tasks: 259 total,1 running, 257 sleeping,0 stopped,1 zombie
Cpu(s):0.0%us,0.0%sy,0.0%ni, 99.5%id,
转载
2024-04-17 11:00:11
124阅读
前言 pin_memory 和 non_blocking的作用分别是什么?网上看了很多解释，只是稀里糊涂的有个感觉，就是用了这玩意速度能变快，但是不知所以然，这篇文章希望能帮助你解惑，也给自己做个笔记，以备日后查阅。 train_sampler = None train_loader = torch
原创
2022-04-02 11:12:13
1063阅读
在训练神经网络时，如果epochs设置的过多，导致最终结束时测试集上模型的准确率比较低，而我们却想保存准确率最高时候的模型参数，这就需要用到Early Stopping以及ModelCheckpoint。一.早停策略之EarlyStoppingEarlyStopping是用于提前停止训练的callbacks，callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。简而言之，就是
转载
2024-07-10 07:32:33
312阅读
问： torch里dataloader中的pin_memory和num_workers起什么作用，跟效率有关系吗
答：
在 PyTorch 的 DataLoader 中，pin_memory 和 num_workers 都与数据加载的效率密切相关：
**pin_memory**：
作用：当 pin_memory=True 时，DataLoader 会将数据加载到内存中，并将数据固定（pinn
原创
2024-08-26 22:46:36
534阅读
一、内部存储默认情况下，只有自己的应用才可以读取自己的数据。内部存储方式存储的路径在：/data/data/包名/cache目录下，或者/data/data/包名/files目录下。两者的区别是，当系统内存不足时，cache目录下保存的文件信息会被清理掉，而files目录下的文件不会被清理掉。内部存储的存储方式使用IO流来操作比如：在登陆界面上需要将用户输入的登陆名和密码保存在指定的内部存储文件下
转载
2024-03-18 15:27:04
473阅读
使用环境：python3.6.8、CUDA10.0、Centos7.5目录 一、前言1.1下载yolov5代码1.2安装yolov5运行时需要的包1.3下载预训练模型和测试二、制作自己的训练数据集2.1使用LabelImg标注自己的数据2.2从VOC标注数据转换为YOLO标注格式三、使用yolov5训练自己的数据集3.1规范自己的数据集3.2编写yaml数据配置文件3.3修改
转载
2024-05-30 09:33:47
174阅读
1. 前言由“ARMv8-a架构简介”中有关的介绍可知，ARMv8(包括ARMv7的一些扩展)引入了Virtualization、Security等概念。在这些概念之下，传统的CPU boot、shutdown、reset、suspend/resume等操作，不再那么简单和单纯。因此，ARM将这些底层操作抽象为一些operations，在以统一的方式向上层软件提供API的同时，可以根据不同的场景，
本文导航
第1页：序：不得不说的话第2页：SDRAM与内存基础概念（一）第3页：SDRAM与内存基础概念（二）第4页：SDRAM与内存基础概念（三）第5页：SDRAM与内存基础概念（四）第6页：SDRAM与内存基础概念（五）第7页：SDRAM与内存基础概念（六）第8页：SDRAM的结构、时序与性能的关系（上）第9页：SDRAM的结构、时序与性能的关系（下）第10页：如日中天——DDR S
1、概念mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间
在数据密集型、GPU 加速的训练领域,即使是小的优化也能产生显著的性能提升。以下是何时以及如何使用高吞
