Cuda基础深度学习模型推理, 为啥需要学习tensorRT, 因为需要加速, 需要C++部署, 为啥又需要学习cuda编程呢, 因为有些前处理, 后处理需要cuda编程来并行运算进行加速, 比如anchor的解码. nms等后处理1: CUDA编程之基本步骤操作概括来说包含5个步骤：
1.CPU在GPU上分配内存：cudaMalloc；
2.CPU把数据发送到GPU：cudaMemcpy,c
嵌入式 程序调试之gdb和gdbserver的交叉编译及使用一、简述 记--交叉编译gdb、gdbserver并调试嵌入式程序。 
1 安装软件VS2015 CUDA 下载和安装方法这里不再赘述，如需要可参考之前文章。2 工程建立及配置2.1 工程建立采用通常方法建立工程即可，没有特殊要求。2.2 工程配置项目右键-生成依赖项-生成自定义，弹出“Visual C++ 生成自定义文件”对话框，勾选CUDA x.x，其中x.x是安装CUDA的版本号，确定3 CUDA源文件及设置注意：需要在GPU上运行的CUDA代码不能写在cpp里
转载
2024-04-26 16:13:18
690阅读
有些服务器上可能安装了多块GPU供大家共同使用，为了不产生冲突，有时需要按情况指定自己的程序具体在哪些GPU上运行。（注意：本文主要参考了，我这里主要是记录一下，以后自己再用到的时候方便查找）下面是实验室GPU的情况：下面是具体的方法：1. 在python代码中通过CUDA_VISIBLE_DEVICES来指定比如，我要使用上面编号为“3”的GPU来运行我的程序，则需要在自己的程序中加入
转载
2023-10-02 20:54:36
714阅读
因为LZ是使用GPU服务器跑TensorFlow，而TensorFlow默认的是占用所有GPU，于是为了不影响其他同学使用GPU，于是就试验和总结了一下TensorFlow指定GPU的方法。。环境系统：Ubuntu14.04TensorFlow：v1.3GPU 8个GTX1080，第一列的0~7的数是GPU的序号一.设置指定GPU1.一劳永逸的方法，直接在~/.bashrc中设置环境变量 CUD
转载
2024-05-07 13:13:33
813阅读
后面的不用看了，直接看最省事版本： 直接用CUDA_VISIBLE_DEVICES="2,3"指定多卡就可以，也可以给sh文件传参进去。但是，切记！切记！切记！sh文件里不能有空行，尤其是使用反斜杠 \ 连接多行的时候，
转载
2024-03-24 08:52:37
921阅读
今天在阿里云上申请了一个深度学习服务器，碰到了很多坑，在网上查了好多资料，大都是自己电脑可以别的电脑就不可以的那种，整合了多个博客的文章才把环境配置好，现在写一个完整的配置方案，以后用起来就方便多了，也供大家参考。一、首先安装nvidia驱动：***在官网上查找符合自己gpu的驱动：http://www.nvidia.com/Download/index.aspx，选择合适的版本下载。 更新系统源
转载
2024-05-01 11:33:01
210阅读
有五种方式使进程终止：(1) 正常终止：(a) 从main返回。(b) 调用exit。(c) 调用_exit。(2) 异常终止：(a) 调用abort。(b) 由一个信号终止。 按照ANSI C的规定，一个进程可以登记多至32个函数，这些函数将由exit自动调用。我们称这些函数为终止处理程序（exit handler），并用exit函数来登记这些函数。回一个值。exit以登记这些函数的相
我的linux下查看方式：[root@localhost bonelee]# ./hello2 &
[1] 139743
[root@localhost bonelee]# Hello World from CPU!
!nvHello World from GPU!
Hello World from GPU!
Hello World from GPU!
Hello World from G
原创
精选
2023-07-28 22:09:39
736阅读
welcome to my blog指定GPU的方式大概有两种,在源代码中添加import os# 指定使用0,1,2三块卡os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2"" 使用命令行启动程序时加上CUDA_VISIBLE_DEVICES=0,1,2比如, CUDA_VISIBLE_DEVICES=0,1,2 python Faste...
原创
2023-01-18 01:13:46
1472阅读
渲染管线介绍图形管线是将网格的顶点和纹理一直到渲染目标中的像素的操作序列。下面是一个简单的概述: input assembler 获取顶点数据，顶点数据的来源可以是应用程序提交的原始顶点数据，或是根据索引缓冲提取的顶点数据。vertex shader 对每个顶点进行模型空间到屏幕空间的变换，然后将顶点数据传递给图形管线的下一阶段。tessellation shaders 根据一定的规则对
1、目前主流方法：.to(device)方法 （推荐）import torch
import time
#1.通常用法
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
data = data.to(device)
model = model.to(device)
'''
1.先创建device
转载
2023-08-31 10:09:45
4610阅读
持续监控GPU使用情况命令：$ watch -n 10 nvidia-smi 一、指定使用某个显卡 如果机器中有多块GPU，tensorflow会默认吃掉所有能用的显存， 如果实验室多人公用一台服务器，希望指定使用特定某块GPU。 可以在文件开头加入如下代码：import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ[
转载
2024-07-22 17:08:16
209阅读
一、基础研究我们之前研究过变量、数组、函数和指针，他们都可以看作是内存中存储的一段数据，当程序需要用到它们时，会通过它们的地址找到它们并进行调用，只是调用的用途不同而已：变量和数组元素是作为常量来处理，对它们进行赋值、运算、取址等操作，而程序是从首地址开始执行直到返回，指针是用来对地址进行操作，或者对指向的内容进行操作。但是我们要知道，它们在内存中都是以一个字节一个字节的数据形式存储的，我们可将他
转载
2024-05-18 19:11:15
188阅读
cmd CUDA_VISIBLE_DEVICES=1 python main.p
原创
2022-07-11 12:16:54
546阅读
# Python如何指定程序在GPU上运行
在进行深度学习和机器学习任务时，通常会使用GPU来加速计算，提高训练模型的效率。Python提供了多种库和工具，可以帮助我们指定程序在GPU上运行。本文将介绍如何使用TensorFlow和PyTorch这两个流行的深度学习框架在GPU上运行程序，并提出一个项目方案来展示如何指定程序在GPU上运行。
## TensorFlow
TensorFlow是
原创
2024-04-10 05:25:16
275阅读
目录1. 命令讲解2. 高效使用大家使用的服务器中有多个GPU，而这个大服务器又在被很多人使用，比如你的课题组的同学。为了资源合理分配，不占用别人正在使用的GPU，我们可以指定自己要使用的GPU组（也就是在你的代码中使用的某一个或某几个GPU），这样就很有效的避免了GPU的资源占用，实现资源的最大化，也不用因为占用特别大的GPU被课题组的“拉黑举报”了！HHH~~~选择特定的GPU组运行程序可在程
转载
2024-03-28 13:40:07
444阅读
pyTorch的GPU模式安装记录1. 安装CUDA2. 安装cuDNN3. 安装pyTorch4. 显卡驱动设置测试CUDA是否安装成功后记 的 的 模式需要先安装 和 ，然后才安装 。1. 安装CUDA进入到 CUDA Toolkit Archive 选择想要下载的版本：由于目前 的 文件只支持到11.0版本（见第 3 节），因此选择cuda_11.0.2_451.48_win10：
转载
2024-03-15 09:23:15
701阅读
(一)mxnet 的核心接口接口功效Context指定运行设备NDArraypython与C++交互数据对象DataIter为训练提供batch数据Symbol定义网络LR Scheduler定义学习率衰减策略Optimizer优化器Executor图的前向计算与反向梯度推导Metric查看模型训练过程指标Callback回调函数KVStore跨设备的键值储存ModuleALL in one 将
转载
2024-04-27 07:44:08
137阅读
正文nvidia-docker run --rm nvidia/cuda:10.0-develdocker开的容器中要想支持gpu，也必须安装cuda(安cuda时会自动安驱动)1、可以直接使用tensorflow、pytorch等官方提供的gpu镜像。2、如果想自己定制，可以基于nvidia/cuda镜像，进行配置(不要从头自己配置)二、Docker19.03之后，内置gpu支持****增加了对
转载
2024-10-27 19:17:21
302阅读
