作为机器学习从业者，我们经常会遇到这样的情况，想要训练一个比较大的模型，而 GPU 却因为内存不足而无法训练它。当我们在出于安全原因不允许在云计算的环境中工作时，这个问题经常会出现。在这样的环境中，我们无法足够快地扩展或切换到功能强大的硬件并训练模型。并且由于梯度下降算法的性质，通常较大的批次在大多数模型中会产生更好的结果，但在大多数情况下，由于内存限制，我们必须使用适应GPU显存的批次大小。本文
转载
2024-03-19 09:08:58
64阅读
文章目录1 python ；两大法宝函数2 加载数据3 TensorBoard 的使用4 transforms的使用5 torchvision中的数据集使用6 dataloader的使用7 卷积操作8 卷积层9 最大池化10 非线性激活11 线性层12 Sequential的使用13 损失函数14 优化器15 现有网络模型的使用及修改16 网络模型的保存及读取17 完整的模型训练套路18 利用g
转载
2024-02-14 15:01:05
96阅读
实验对比前端时间搭建了TensorRT 、 Torchserve-GPU，最近抽时间将这两种方案做一个简单的实验对比。实验数据Cuda11.0、Xeon® 6242 3.1*80、RTX3090 24G、Resnet50TensorRT 、Torchserve-GPU各自一张卡搭建10进程接口，感兴趣的可以查看我个人其他文章。30进程并发 、2000 张1200*720像素图像的总量数据Tenso
转载
2024-08-07 21:40:25
97阅读
文章目录一、PyTorch环境检查二、查看张量类型三、查看张量尺寸和所占内存大小四、创建张量4.1 创建值全为1的张量4.2 创建值全为0的张量4.3 创建值全为指定值的张量4.4 通过 list 创建张量4.5 通过 ndarray 创建张量4.6 创建指定范围和间距的有序张量4.7 创建单位矩阵（对角线为1）五、生成随机张量5.1 按均匀分布生成5.2 按标准正态分布生成5.3 生成指定区间
转载
2024-04-25 15:31:39
87阅读
深度学习是基于人工神经网络(ANN)的机器学习方法大家庭的一部分。深度学习是当今普遍存在的一种学习方式，它被广泛应用于从图像分类到语音识别的各个领域。在这篇文章中，我将向你展示如何构建一个简单的神经网络，用PyTorch从视网膜光学相干断层扫描图像中检测不同的眼部疾病。数据集OCT 是一种成像技术，用于捕捉活体患者视网膜的高分辨率横截面。每年大约要进行3000万次 OCT 扫描，这些图
1. torch.eq(input, other, out=None)说明： 比较元素是否相等，第二个参数可以是一个数，或者是第一个参数同类型形状的张量参数：input(Tensor) ---- 待比较张量other(Tenosr or float) ---- 比较张量或者数out(Tensor,可选的) ---- 输出张量返回值： 一个torch.ByteTensor张量，包含了每个位置的比较结
转载
2024-04-22 14:33:05
122阅读
本文目录常用函数关于网络模型并行计算torchvision库Tensorboard的使用自定义层模型可视化性能优化标注工具环境配置生僻bug记录torch库的使用（pytorch框架）： 在pytorch中，FloatTensor是基本的数据格式，等同于ndarray在numpy中的地位。 另一种常用格式是变量Variable，常用于计算图。FloatTensor.view：与Matlab的res
# 如何检查Python中torch是否使用GPU
作为一名经验丰富的开发者，你需要教会一位刚入行的小白如何检查Python中torch是否使用GPU。以下是整个过程的流程以及每一步需要做的事情：
## 流程表格
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 导入torch库 |
| 2 | 检查当前设备是否支持GPU |
| 3 | 输出当前设备信息 |
#
原创
2024-06-23 04:51:52
758阅读
我们在爬虫的时候，经常会遇到验证码的识别，尽管我在上一篇博客中介绍了使用超级鹰来进行验证码的识别（这里所指的验证码是指只有数字、字母所组成的照片），但是毕竟是需要花钱的，花钱谁不心疼。既然人工智能这么火的，我们也来蹭蹭热度，使用深度学习来进行验证码的识别。深度学习解决问题基本上都是四步走：获取数据集、定义模型、训练模型以及测试模型。下面跟着小墨一起来学习吧。一 、获取和加载数据1. 生成验证码照片
1.实验结果随机从测试集导入20张手写数字的灰度图片，训练好的神经网络的识别结果如下图所示。 20张图片全部识别正确，只把训练集的数据迭代训练1遍，在整个测试集上训练的正确率就可以达到97.7%啦 。2.实验过程2.1 准备数据集 ：使用mnist数据集（122MB），训练集包含6万张 28×28像素点的灰度图片和6万个对应的标签label，测试集包含1万张28×28像素点的灰度图片和1万个对应的
转载
2024-09-05 09:20:43
76阅读
对于算法小白来说，配置环境甚至比学网络模型还要难，配置环境过程中会遇到各种坑，一定要耐心，不要砸机（计算机）！花了6、7个小时的时间才把TensorFlow-gpu安装好，必须分享记录一下。首先，感谢这篇blog：，整个安装过程很详细。 在安装之前要确认一下几件事情。1、确保电脑上有独立的英伟达显卡且安装了相应的驱动，（查看显卡型号：右击计算机-设
转载
2024-04-25 12:58:52
50阅读
深度学习Pytorch-图像目标检测Faster RCNN0. 往期内容1. 图像目标检测定义2. 模型是如何完成目标检测？3. 深度学习目标检测模型简介4. Pytorch中的Faster RCNN训练5. 代码示例 1. 图像目标检测定义左上角坐标[x1,y1]，右下角坐标[x2,y2]。2. 模型是如何完成目标检测？比如特征图中左上角像素对应原图中左上角14*14的区域。3. 深度学习目标
转载
2024-10-11 14:29:51
0阅读
目录1. Pytorch完成模型常用API1.1 nn.Module1.2 优化器类1.3 损失函数1.4 把线性回归完整代码2. 在GPU上运行代码1. Pytorch完成模型常用API在前一部分，我们自己实现了通过torch的相关方法完成反向传播和参数更新，在pytorch中预设了一些更加灵活简单的对象，让我们来构造模型、定义损失，优化损失等那么接下来，我们一起来了解一下其中常用的API1.1
转载
2024-08-04 15:38:00
73阅读
1、检查是否具有合适的GPU， 如有则安装Cuda,Cudnn(1)检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本。 (2)下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive-update2在https://docs.nvi
转载
2024-04-23 10:25:47
126阅读
1.安装cuda首先看下自己电脑是CPU还是GPU，看自己电脑对应的cuda版本 看右下角英伟达标识，点击组件，我的cuda版本是12.3，但最后发现安12.1比较好2.安装12.1cuda版本对应的cudnn 3.anaconda安装以及环境变量配置①anaconda安装注意不要安最新的版本，别问我为什么（可能不太好找对应的pytorch版本，太新也容易和很多软件不兼容），
计算机视觉研究院专栏作者：Edison_G斯坦福大学博士生与 Facebook 人工智能研究所研究工程师 Edward Z. Yang 是 PyTorch 开源项目的核心开发者之一。他在 5 月 14 日的 PyTorch 纽约聚会上做了一个有关 PyTorch 内部机制的演讲，本文是该演讲的长文章版本。 大家好！今天我想谈谈 PyTorch 的内部机制。这
转载
2024-03-18 08:27:22
226阅读
4.1 数据处理工具箱概述如果你看了第3章，应该对torchvision、data等数据处理包有了初步认识，但可能理解还不够深入，接下来我们将详细介绍。Pytorch涉及数据处理（数据装载、数据预处理、数据增强等）主要工具包及相互关系如图4-1所示。 图4-1 Pytorch主要数据处理工具图4-1 的左边是torch.utils.data工具包，它包括以下三个类： （1）Datase
本文详细讲解了如何安装YOLOv5网络依赖的GPU版本的Pytorch，本人自从入坑YOLOv5后，前前后后配置了近10次环境，有时代码调好能跑了，放上一两个月再跑，竟然报错了！ 最近重装了一次电脑，重新配置了一遍环境，于是痛下决心要记录下配置环境中可能出现的问题，这里需要强调的是，我是在配好环境后写的这篇文章，大多图片是采用别人博客中的图片（在Refenrence中表明了出处，实在不想再重
转载
2024-08-28 16:30:24
1025阅读
点赞
前言从安装ubuntu系统配置pytorch-GPU环境开始就已经走上了不归路，本以为没什么大问题，但其实坑非常的多，在此写上安装过程中遇到的种种问题与大家分享，希望大家少走弯路！另外要说明，安装过程中一定要仔细看cuda、cudnn的官方文档，官方文档写的过程非常的详细，仔细看之后再安装会避免不少的问题！电脑配置电脑为个人闲置的笔记本电脑： 处理器：i7-6700 显卡：GTX 965M（集
转载
2024-04-27 19:11:22
377阅读
点赞
显式同步和逻辑GPU活动：请注意，即使内核在上述示例中快速运行并在CPU触及y之前完成，也需要显式同步。 Unified Memory使用逻辑活动来确定GPU是否空闲。 这与CUDA编程模型保持一致，该模型指定内核可以在启动后随时运行，并且不能保证在主机发出同步调用之前完成。逻辑上保证GPU完成其工作的任何函数调用都是有效的。 这包括cudaDeviceSynchronize（）; cudaStr
