CUDA并行程序设计系列是本人在学习CUDA时整理的资料，内容大都来源于对《CUDA并行程序设计：GPU编程指南》、《GPU高性能编程CUDA实战》和[CUDA Toolkit Documentation](http://docs.nvidia.com/cuda/index.html)的整理。通过本系列整体介绍CUDA并行程序设计。内容包括GPU简介、CUDA简
转载
2024-04-07 17:40:56
37阅读
一、背景首先我一直有一个疑问？核函数中线程是如何执行的，他的并行性的执行机制是什么？同一个warp是并行的，不同warp间是串行的吗因此我们开始学习一下：二、CUDA与GPU名词解析首先我们要明确：SP（streaming Processor，流处理器），SM（streaming multiprocessor，流多处理器）是硬件（GPU hardware）概念。而threa
转载
2024-03-21 11:29:04
90阅读
区分两种API的前缀 驱动: cu_ 运行: cuda_important: CUDA函数库 全部库: http://developer.nvidia.com/gpu-accelerated-librariesnvcc编译器，注意后缀CUDA硬件环境：芯片是对于架构的实现并行计算： 深度学习适合并行编程stencil是以某一固定模板的形式读取数据（只能是读相邻元素的关系）编写CUDA程序习惯： h
转载
2024-04-22 12:49:42
86阅读
前言本文是之前做云计算实验整理的内容，借博客保存一下！使用不同方法对算法加速还是很有意思的！实验题目自选一张图片，按照实验指南说明在jetson05节点上基于OpenMP和CUDA对图片进行边缘提取实验，记录梯度向量幅度的最小值和最大值，比较串行算法和并行算法的运行时间，并提交处理后的边缘提取结果图片。试一下：如果编译时开启优化选项（比如选择“-O3”级别的优化），串行算法和并行算法的运行时间分别
转载
2024-06-18 12:17:20
145阅读
最近在学一门课，叫做“C++与并行计算”。要用到多CPU（进程）并行的原理，实现语言是C++的MPI接口。联想到上学期用到CUDA C/C++来做并行计算，就对这两门语言做一个总结，分享下自己关于并行计算的认识。1 并行计算的基本原理并行计算一般有两个维度，一个是指令（Instruction）或程序（Program），另一个是数据（Data）。这样，就可以归纳出各种并行模式（S代表Single，M
转载
2024-03-18 15:28:07
101阅读
说明最近在学习CUDA，感觉看完就忘，于是这里写一个导读，整理一下重点主要内容来源于NVIDIA的官方文档《CUDA C Programming Guide》，结合了另一本书《CUDA并行程序设计 GPU编程指南》的知识。因此在翻译总结官方文档的同时，会加一些评注，不一定对，望大家讨论指出。另外，我才不会老老实实的翻译文档，因此细节还是需要从文档里看的。看完两份文档总的来说，感觉《CUDA C P
转载
2024-07-26 21:59:29
154阅读
目录1. Pytorch完成模型常用API1.1 nn.Module1.2 优化器类1.3 损失函数1.4 把线性回归完整代码2. 在GPU上运行代码1. Pytorch完成模型常用API在前一部分，我们自己实现了通过torch的相关方法完成反向传播和参数更新，在pytorch中预设了一些更加灵活简单的对象，让我们来构造模型、定义损失，优化损失等那么接下来，我们一起来了解一下其中常用的API1.1
转载
2024-08-04 15:38:00
73阅读
1、检查是否具有合适的GPU， 如有则安装Cuda,Cudnn(1)检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本。 (2)下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive-update2在https://docs.nvi
转载
2024-04-23 10:25:47
126阅读
1.安装cuda首先看下自己电脑是CPU还是GPU，看自己电脑对应的cuda版本 看右下角英伟达标识，点击组件，我的cuda版本是12.3，但最后发现安12.1比较好2.安装12.1cuda版本对应的cudnn 3.anaconda安装以及环境变量配置①anaconda安装注意不要安最新的版本，别问我为什么（可能不太好找对应的pytorch版本，太新也容易和很多软件不兼容），
计算机视觉研究院专栏作者：Edison_G斯坦福大学博士生与 Facebook 人工智能研究所研究工程师 Edward Z. Yang 是 PyTorch 开源项目的核心开发者之一。他在 5 月 14 日的 PyTorch 纽约聚会上做了一个有关 PyTorch 内部机制的演讲，本文是该演讲的长文章版本。 大家好！今天我想谈谈 PyTorch 的内部机制。这
转载
2024-03-18 08:27:22
223阅读
作为机器学习从业者，我们经常会遇到这样的情况，想要训练一个比较大的模型，而 GPU 却因为内存不足而无法训练它。当我们在出于安全原因不允许在云计算的环境中工作时，这个问题经常会出现。在这样的环境中，我们无法足够快地扩展或切换到功能强大的硬件并训练模型。并且由于梯度下降算法的性质，通常较大的批次在大多数模型中会产生更好的结果，但在大多数情况下，由于内存限制，我们必须使用适应GPU显存的批次大小。本文
转载
2024-03-19 09:08:58
64阅读
本文详细讲解了如何安装YOLOv5网络依赖的GPU版本的Pytorch，本人自从入坑YOLOv5后，前前后后配置了近10次环境，有时代码调好能跑了，放上一两个月再跑，竟然报错了！ 最近重装了一次电脑，重新配置了一遍环境，于是痛下决心要记录下配置环境中可能出现的问题，这里需要强调的是，我是在配好环境后写的这篇文章，大多图片是采用别人博客中的图片（在Refenrence中表明了出处，实在不想再重
转载
2024-08-28 16:30:24
1012阅读
点赞
前言从安装ubuntu系统配置pytorch-GPU环境开始就已经走上了不归路，本以为没什么大问题，但其实坑非常的多，在此写上安装过程中遇到的种种问题与大家分享，希望大家少走弯路！另外要说明，安装过程中一定要仔细看cuda、cudnn的官方文档，官方文档写的过程非常的详细，仔细看之后再安装会避免不少的问题！电脑配置电脑为个人闲置的笔记本电脑： 处理器：i7-6700 显卡：GTX 965M（集
转载
2024-04-27 19:11:22
377阅读
点赞
实验对比前端时间搭建了TensorRT 、 Torchserve-GPU，最近抽时间将这两种方案做一个简单的实验对比。实验数据Cuda11.0、Xeon® 6242 3.1*80、RTX3090 24G、Resnet50TensorRT 、Torchserve-GPU各自一张卡搭建10进程接口，感兴趣的可以查看我个人其他文章。30进程并发 、2000 张1200*720像素图像的总量数据Tenso
转载
2024-08-07 21:40:25
97阅读
01 考虑换一种学习率 schedule学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using Larg
英国伦敦 ─ 2018年3月20日 ─ Imagination Technologies宣布，推出PowerVR GPU 的性能分析工具 PVRTune的新版本，它可为开发人员提供深度信息，来帮助他们充分了解其应用在移动与嵌入式设备上的动态。利用PVRTune 2018 Release 1中的新功能，开发人员可通过充分发挥底层硬件的功能来创建应用与游戏，进而能以可获得的最低功耗来实现最佳效能。开发
显式同步和逻辑GPU活动：请注意，即使内核在上述示例中快速运行并在CPU触及y之前完成，也需要显式同步。 Unified Memory使用逻辑活动来确定GPU是否空闲。 这与CUDA编程模型保持一致，该模型指定内核可以在启动后随时运行，并且不能保证在主机发出同步调用之前完成。逻辑上保证GPU完成其工作的任何函数调用都是有效的。 这包括cudaDeviceSynchronize（）; cudaStr
pyTorch的GPU模式安装记录1. 安装CUDA2. 安装cuDNN3. 安装pyTorch4. 显卡驱动设置测试CUDA是否安装成功后记 的 的 模式需要先安装 和 ，然后才安装 。1. 安装CUDA进入到 CUDA Toolkit Archive 选择想要下载的版本：由于目前 的 文件只支持到11.0版本（见第 3 节），因此选择cuda_11.0.2_451.48_win10：
转载
2024-03-15 09:23:15
701阅读
JX-1001是一款全功能测试仪器，测试仪全部的功能均使用可编程软件进行控制，极大满足客户应对各种条件和定制化的需求。 主要功能1) 支持多达128点（更多的点可支持定制）测试位，可任意点组合(1) 支持电阻测量，支持分压法、2线制电流法、4线制电流法(2) 支持二极管测量，测试电流可选2) 支持15路光电隔离输出（共阴极），单路驱动能力最大500mA3
相关介绍Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python OS模块是负责程序与操作系统的交互，提供了访问操作系统底层的接口和非常丰富的方法用来处理文件和目录。Python contextlib模块提供了一种方便
