BERT句向量GPU线上调用等。出现Floating point exception and SystemError: error return without exception set 。 最近上线需要用到bert，走过了很多坑，有的甚至是不知道怎么回事，而且也很容易从解决一个问题，跳
前言Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写）进行缓存操作。以下几类操作会很占内存：频繁 或 大量的文件存取操作程序测试频发崩溃服务的大量访问和数据读写某些操作会产生大量的缓存，当我们完成这些操作后，这部分缓存就要等待系统清除。由于程序BU
转载
2024-03-19 10:17:19
182阅读
我从事防火墙的开发已经有三年半的时间了，对网络协议栈了解的还可以，后期，想要向漏洞挖掘方向进军，后续，会学习web安全，密码学，逆向等相关的内容，为后续的安全进军。说了这么多，该入正题了，我会接着讲解linux内核网络协议栈的相关知识，也让我的文章能够更加的专向化，也欢迎对网络协议栈感兴趣的朋友一起讨论，当然也可以互相学习。做网络管理的人都知道IP地址这个东西，它是主机与外界通信的基础，没有IP地
转载
2024-03-01 12:42:06
19阅读
当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。这个问题，貌似有不少人在问，不过都没有看到有什么很好解决的办法。那么我来谈谈这个问题。/proc是一个虚拟文件系统，可通过对它的读写操作做为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件，来对当前kernel的行为做出调整。那么可通过调整/proc/s
转载
2024-04-17 10:34:50
142阅读
前言初次使用远程服务器的GPU时遇到了以下问题：某些进程本地端结束但是远程服务器仍在运行，导致过分占用GPU进程；训练过程必须保证本地电脑开机状态，随着训练时间增长这将变得很不现实；试图使用rm命令时出现报错：rm: command not found，一般由环境变量配置出错导致；同时使用多个GPU运行网络，导致 GPU资源的浪费。配置：本地：win10系统Pycharm2022.3.2专业版、远
转载
2024-04-16 12:09:15
435阅读
目录1 问题背景2 问题探索2.1 CUDA固有显存2.2 显存激活与失活2.3 释放GPU显存3 问题总结4 告别Bug 1 问题背景研究过深度学习的同学，一定对类似下面这个CUDA显存溢出错误不陌生RuntimeError: CUDA out of memory. Tried to allocate 916.00 MiB (GPU 0; 6.00 GiB total capacity; 4.
转载
2024-03-08 09:08:13
1287阅读
在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，此时就需要执行释放内存（清理缓存）的操作了。Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写
转载
2024-03-21 13:53:29
729阅读
Linux服务器运行一段时间后，由于其内存管理机制，会将暂时不用的内存转为buff/cache，这样在程序使用到这一部分数据时，能够很快的取出，从而提高系统的运行效率，所以这也正是Linux内存管理中非常出色的一点，所以乍一看内存剩余的非常少，但是在程序真正需要内存空间时，Linux会将缓存让出给程序使用，这样达到对内存的最充分利用，所以真正剩余的内存是free+buff/cache。但是有些时候
转载
2024-03-26 16:10:37
47阅读
在Linux系统中为了提高文件系统性能，系统利会用一部分物理内存作为缓冲区使用，主要用于缓存系统操作和数据文件。当内核收到读写的请求时系统会先在缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。缓存机制的优点是减少系统调用次数，降低CPU上下文切换和磁盘访问频率。查看缓存区及内存使用命令[root@localhost ~]# free -h释放缓存区内存的方法 清理pag
转载
2024-04-29 12:01:21
32阅读
设备文件是在/dev/目录下
设备文件有主设备号，次设备号.
当操作设备文件, 系统会根据设备文件的设备号找到相应的设备驱动(驱动在内核注册时已指定使用的设备号),并调用相应的功能.
open ---> sys ----> driver ---> drv_open
read ---> sys --
当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。这个问题，貌似有不少人在问，不过都没有看到有什么很好解决的办法。那么我来谈谈这个问题。/proc是一个虚拟文件系统，我们可以通过对它的读写操作做为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件，来对当前kernel的行为做出调整。那么我们可以通过调整/
转载
2024-05-29 02:33:13
29阅读
查看内存常用的查看内存工具有：top，ps，free，/proc/meminfo，/proc/$PID/status等，一般都指定了虚拟内存占用情况，但ps或/proc/$PID/status中RSS或RSZ指定的是实际内存大小。 root:~# free
total used free shared buffers
转载
2024-09-09 17:22:12
103阅读
当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching。一、通常情况 先来说说free命令： 引用 1. [root@server ~]# free -m
2.
3. total used free shared buffers cached
4.
5. Mem: 249 163 86 0 10 94
6.
7.
转载
2024-04-15 11:14:14
1795阅读
在服务器运行过程中，使用free -m查看服务器内存时，经常会发现free值很小，有些同学就会很紧张，总想采取一些措施，使得free值看起来高一点，心里就比较爽一点。其实，个人觉得这完全是图一时之快，没什么实质性用途。一、大众释放内存方法 1. 首先使用free -m查看剩余内存 [python] view plaincopyprint? 01.linux-8v2i:~
转载
2024-03-29 16:21:53
102阅读
最近总是用dd做一些测试，会遇到一些缓存，导致测试出来的结果不一致的情况。于是找了下linux清理缓存方面的命令，记录一下，以备后用。1.查看内存情况：free -mlinux-2dt3:~ # free -m total used
转载
2024-05-08 22:59:06
0阅读
目录1 问题背景2 问题探索2.1 CUDA固有显存2.2 显存激活与失活2.3 释放GPU显存3 问题总结4 告别Bug 1 问题背景研究过深度学习的同学，一定对类似下面这个CUDA显存溢出错误不陌生RuntimeError: CUDA out of memory. Tried to allocate 916.00 MiB (GPU 0; 6.00 GiB total capacity
free 命令 产看内存占用一览：free 参数： 今天部署项目的时候，发现pm2命令卡顿不能正确执行，一开始以为是pm2版本的问题，后面升级pm2到最新版本也没有解决问题。既然和pm2本身没有关系，那么就从其它地方检查，检查端口、检查内存、检查防火墙，折腾了半天最后解决了问题，(不在此扩展这个问题)。在检查内存占用的时候，发现buff/cache 占
转载
2024-09-16 20:38:44
46阅读
使用下面的Python代码可以快速释放GPU显存import ospid = list(set(os.p
原创
2022-08-18 07:42:56
3522阅读
感受WIN8的侧边栏这个卡掉个人认为没有那么便捷了。 另外WIN10由于进行了多设备同步适配，所以在其高分屏适配上比之WIN8要好的多。在Mac视网膜电脑上，需要调到全分辨率然后设置200%的放大效果会比较OK。磁盘占用有所优化，使用一段时间后没有发现磁盘100%的情况。操作便捷性上还行，能接受，使用升级的方式所有软件都不用动只会更改电脑系统；这个或许能让你的工作不间断。软件的兼容性与WIN8一
Windows程序意掉，但显存依然被占用1.软件环境2.问题描述3.解决方法3.1.查找当前占用显存的程序3.2.关闭显存占用程序4.结果预览 1.软件环境Windows10 教育版位 Tensorflow-GPU 2.3.0 Keras 2.4.3 CUDA 10.12.问题描述在使用Tensorflow进行模型训练时，很有可能会因为batch_size设置太大或者样本分辨率太大导致O
转载
2024-05-07 10:40:56
724阅读
