TensorRTCUDA和TensorRT都是由NVIDIA开发的用于加速深度学习推理的工具。CUDA是NVIDIA提供的一个并行计算平台和编程模型，可以利用GPU的并行计算能力加速各种计算任务，包括深度学习。CUDA提供了一组API和工具，使得开发者可以方便地在GPU上编写高效的并行代码。TensorRT是NVIDIA开发的一个深度学习推理引擎，可以将训练好的深度学习模型优化并加速，使得在GPU
转载
2024-06-08 14:54:42
686阅读
点赞
答：第一个用在调用cuda_runtime提供的API函数，所以，都会返回一个cudaError_t类型的变量，需要将变量传入到第一个函数.com
原创
2024-07-31 10:25:47
157阅读
本文大多借鉴此博客，请阅读下边的说明后参考本博客安装：安装CUDA9.0及对应版本的tensorflow-gpu详细过程（Windows server 2012R2版本也可以）下面是对上述教程的补充：查看自己电脑NV显卡驱动的版本，找到对应的CUDA版本方法参考链接 版本对照表：比如我的电脑NV显卡驱动版本是385.54，那么我就去下载CUDA9.0（如果显卡版本太低，可以下载一个驱动精灵更新一下
Linux下的安装 本文是为了记录安装TensorRT过程中遇到的一些问题。首先进入TensorRT下载页面，选择你要下载的TensorRT版本。 因为TensorRT不同的版本依赖于不同的cuda版本和cudnn版本。所以很多时候我们都是根据我们自己电脑的cuda版本和cudnn版本来决定要下载哪个TensorRT版本。查看cuda版本： 可以看到，我的cuda版本为11.3。查看cudnn版
原创
2021-09-07 11:47:03
2682阅读
文章目录1、什么是TensorRT2、流程3、推荐方案3.1 视频作者的方案3.2 方案优缺点3.3 方案具体过程4、如何正确导出ONNX，并在C++中推理4.1 指定维度时不加int与加int4.1.1 指定维度时不加int4.1.2 指定维度时加int5、如何在C++中使用起来6、动态batch和动态宽高的处理方式6.1 动态batch的指定6.2 动态宽高的指定7、实现一个自定义插件参考：
转载
2024-08-31 19:49:36
1246阅读
Github 现有的 TensorRT 加速的 MTCNN 【PKUZHOU/MTCNN_FaceDetection_TensorRT】不是基于插件的，而是走了使用 scale和 ReLU 、eltwise-sum 层 “曲线救国”的路线——PKUZHOU 认为 PReLU 会破坏 TensorRT 的 CBR 优化，但实际上实现 PReLU 插件以后耗时更少，如图左侧是“曲线救...
原创
2021-12-16 11:29:15
468阅读
Github 现有的 TensorRT 加速的 MTCNN 【PKUZHOU/MTCNN_FaceDetection_TensorRT】不是基于插件的，而是走了使用 scale和 ReLU 、eltwise-sum 层 “曲线救国”的路线——PKUZHOU 认为 PReLU 会破坏 TensorRT 的 CBR 优化，但实际上实现 PReLU 插件以后耗时更少，如图左侧是“曲线救...
原创
2022-01-17 10:13:07
1055阅读
一，安装cuda当然前提你是nvidia的显卡 可以参考 二，CUDA-Z为了能查看我们显卡的一些详细信息建议安装这个东西。官网下载地址 选择对应的64或者32位，以64位为例子； 下载好的文件是这样的。 我们运行$ ./CUDA-Z-0.10.251-64bit.run 但是这样很复杂 所以我们可以做如下操作：$ sudo mv CUDA-Z-0.10.251-64bit.run ~/Docum
转载
2023-07-19 13:51:21
403阅读
准备python项目docker_test├── Dockerfile├── myapps └── taskassign.py └── requirements.txt各文件内容及含义：Dockerfile文件 没有后缀名，啥也不加# 将官方 Python 运行时用作父镜像
FROM python:3.9
# 将工作目录设置为 /
WORKDIR ./
# 将当前目
转载
2023-08-31 21:22:39
144阅读
jetson无法单独安装cuda，cudnn，tensorrt的解决方法，比下载SDK manager刷机安装简单好多倍这个方法是直接下载deb包安装，deb包安装网站。
原创
2024-09-30 15:09:23
0阅读
写在前面最近准备尝试跑一跑 TensorFlow GPU 训练模型，平时开发用的 MBP，无赖显卡是 AMD 只支持 CPU 训练，但恰有闲置 Win10 笔记本电脑一台显卡 NVIDIA 支持 CUDA® 。Tensorflow GPU 训练加速需要支持 CUDA® 的 GPU 显卡，这里提到的 CUDA 指的是，是 NVIDIA 研发的一种并行计算平台和编程模型，它可以通过利用 GPU 的处理
转载
2023-11-01 21:13:39
363阅读
1、梳理概念：sp，sm，thread，block，grid，warp（1）硬件上， SP（streamingProcess），SM（streaming multiprocessor）。 SP：最基本的处理单元，也称为CUDA core。CUDA Core是NVIDIA在推出全新的Fermi架构后才出现的一个名词。简单的说，CUDACore就是以前所说的流处理器，是类似的东西，只是名字
转载
2024-09-13 21:50:20
229阅读
问题描述将pytorch模型转tensorrt后运行推理结果正常，但是使用flask部署调用时出现如下报错，推理输出全部为0：[TensorRT] ERROR: ../rtSafe/cuda/caskConvolutionRunner.cpp (408) - Cask Error in checkCaskExecError<false>: 11 (Cask Convolution execution)[TensorRT] ERROR: FAILED_EXECUTION: std::exce
原创
2021-11-18 16:49:36
2467阅读
一、典型GPU程序构成一个典型GPU程序有如下几个部分：①CPU在GPU上分配内存②CPU将CPU中的数据copy到GPU中③调用内核函数来处理数据④CPU将GPU中的数据copy到CPU中 *可以看出，四个步骤中有两个是数据的copy，因此如果你的程序需要不断地进行copy，那么运行效率会比较低，不适合利用GPU运算。一般情况下，最好的方式是，让GPU进行大量运算，同时保证计算量与通信
转载
2023-09-08 18:30:55
181阅读
显卡中CUDA是什么及作用介绍CUDA（Compute Unified Device Architecture），显卡厂商NVidia推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。 计算行业正在从只使用CPU的“中央处理”向CPU与GPU并用的“协同处理”发展。为打
转载
2023-08-15 12:11:35
165阅读
CUDA 的技术体系可划分为软件模型和硬件模型两部份，充分理解这两部分的体系结构和相互关系，是掌握 CUDA 技术的关键。一、CUDA 的软件模型1. 两层结构的线程管理毫无疑问， CUDA 软件模型是一个海量线程（Thread）管理工具。CUDA 中的线程按照两个层次分组：Block：一个 Block 最多管理 512 个Thread。Thread 对应的函数称为 Kernel 函数，本质上，C
转载
2024-07-15 02:38:19
107阅读
本文记录了tensorflow安装过程（2021.7.20）首先确认电脑装有vs，anaconda3。具体安装步骤：我把tensorflow的安装分为5步：1、查看想要装的tensorflow版本以及与之对应的CUDA版本和cudnn版本2、安装CUDA3、安装cudnn4、配置环境变量5、创建虚拟环境，安装tensorflow之后是总结，本文使用的网站和指令的汇总，以及后续的安装具体安装步骤1、
转载
2024-05-06 12:42:09
1694阅读
cuda、cudnn环境配置一、cuda、cudnn概念及关系1、什么是cuda？CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题2、什么是cudnn？NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开
转载
2024-07-06 12:03:35
325阅读
CUDA底层驱动API 文章目录CUDA底层驱动API1. 上下文2. 模块3. 核函数的执行4. 运行时和驱动程序 API 之间的互操作性5. 驱动入口5.1. 介绍5.2. 驱动函数类型5.3. 驱动函数检索5.3.1. 使用驱动API5.3.2. 使用运行时API5.3.3. 检索每个线程的默认流版本5.3.4. 访问新的 CUDA 功能 本附录假定您了解 CUDA 运行时中描述的概念。
转载
2023-11-13 21:51:07
222阅读
