一.环境我的环境：ubuntu18.04，kernel5.4，cuda11.2，RTX3050，cmake3.22，没有cudnn二、onnx部署1.下载在你的终端虚拟环境输入pip install onnx
pip install onnxruntime-gpu （这行命令是用onnx推理时才必要的）2.运行models文件夹里的expor.py,得到.onnx注意运行时需要输入img_siz
转载
2024-09-25 10:21:32
241阅读
前言本文讨论在Unity URP中，如何使用GPU Instancing，以及和Static Batching, SRPBatcher的关系。几种Batching方式的原理简述Static Batching将一组静态物体的模型batch成一个模型，并作为一个整体提交的GPU。绘制的时候这些物体可以正常的做culling，Unity会将通过Culling的物体使用索引偏移的方式绘制。SPR Batc
转载
2024-06-26 13:20:54
198阅读
什么是ONNX？现如今，各大主流深度学习框架都有着自己独有的特点与魅力，吸引着广大科研与开发人员，例如：
Caffe2：方便机器学习算法和模型大规模部署在移动设备
PyTorch：PyTorch是一个快速便于实验深度学习框架。但是由于其高度封装，导致部分function不够灵活
TensorFlow：TensorFlow 是一个开放源代码软件库，是很多主流框架的基础或者依赖。几乎能满足
现象bt的堆栈信息standard io上的错误输出从报错信息上看是非法的内存访问，但是报错的位置不一定是真实的位置，因为GPU都是异步发起的，错误可能会被在后面的op捕捉。例如cudaEventDestory： debug方式思维方式 复现，解决问题一定要复现问题，不能复现的问题不能确定正真解决。所以首先要做的是复现。定位，定位范围是逐渐缩小，优先排查自定义的代码
转载
2024-04-25 15:12:43
115阅读
ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。虽然大家用ONNX时更多的是作为一个中间表示，从pytorch转到onnx后直接喂到TensorRT或MNN等各种后端框架，但这并不能否认ONNXRuntime是一
报错：RuntimeError: CUDA error: no kernel image is available for execution on the device提醒：安装pytorch时，除了要注意pytorch与torchvision版本的匹配，也要注意pytorch与cuda的版本兼容。不然……，安装环境会让你想吐~目录1.报错原因2.查看系统的cuda版本3.查看与cuda匹配的p
注：1.本文基于mmdetection-2.25.1。为啥不用最新版本？3.0的还没试，2.28的有差不多的问题，老板要求用这个版本，所以先用这个演示一遍全流程。2.本文直接用mmdetection里面提供的一个“不建议使用”的脚本来导出onnx格式（ncnn先别急），即tools/deployment/pytorch2onnx.py。为啥不用mmdeploy？一个是也不见得行，另外老板暂时不让用
一、V7效果真的的v587，识别率和速度都有了极大的提升，这里先放最新鲜的github链接：https://github.com/WongKinYiu/yolov7二、v7的训练我这里就不做过多的赘述了，这里主要是进行讲解怎么把.pt文件转为onnx和后续的推理问题： 2.1首先是pip的版本非常重要，博主亲自测试了，发现确实只有对应版本，ONNX才能成功，以至于后续的onnxrunti
转载
2024-07-24 10:32:57
152阅读
1.概述许多机器学习和深度学习模型都是在基于 Python 的框架中开发和训练的，例如 PyTorch 和 TensorFlow 等。但是，当需要将这些训练好模型部署到生产环境中时，通常会希望将模型集成到生产流程中，而这些流程大多是用 C++ 编写的，因为 C++ 可以提供更快的实时性能。目前有许多工具和框架可以帮助我们将预训练模型部署到 C++ 应用程序中。例如，ONNX Runtime 可用于
转载
2024-06-12 09:38:27
759阅读
# 使用 PyTorch 检查 GPU 是否可用
在人工智能和深度学习的领域，计算能力通常是至关重要的。在这方面，GPU（图形处理单元）由于其高度并行处理能力，成为了深度学习训练的首选。接下来，我们将通过一个简单的例子来展示如何使用 PyTorch 检查系统中 GPU 是否可用。
## 操作流程
为了检查 GPU 是否可用，我们将按照以下流程进行操作：
| 步骤 | 说明
一、onnxruntime C++的下载不要相信某些博客，2022年居然还是写的：我才疏学浅，试过好几次都没有成功。不要克隆不要克隆，那么大的项目你克隆到啥时候，人家发布了压缩包版本的好不好。 点击latest: 看见没有，gpu版本的才几十M！！！！！如果自己下载源码编译，很大可能会失败。用官方给的include、lib是很香的哦。二、部署一个大佬的项目：GitHub - i
转载
2024-10-05 11:42:39
239阅读
# 使用GPU加速ONNX模型的流程
本文将给你介绍如何使用GPU加速ONNX模型的步骤和相应的代码。以下是整个流程的概要：
```mermaid
flowchart TD
A[将ONNX模型加载到内存中] --> B[将模型转换为TensorRT引擎]
B --> C[使用GPU加速推理]
```
接下来，我们将逐步进行详细说明。
## 1. 将ONNX模型加载到内存中
原创
2023-11-18 09:23:36
809阅读
VirtualBox vs VmwareVirtualBox 最新版本是4.2.12，支持创建windows 8 虚拟机已经支持主机和虚拟机互拖文件和共享粘贴板，如图 vmware相对VirtualBox最大的优势在：无需进入bios启用VT-x功能，它应该是自己模拟了。VirtualBox相对vmware最大的优势在：免费软件，功能齐全。下面主要介绍virtualBox Virtual
转载
2024-09-21 07:58:22
105阅读
# 判断PyTorch是否可以使用GPU的方法
## 引言
作为一名经验丰富的开发者，我将会教你如何判断PyTorch是否可以使用GPU。在机器学习和深度学习任务中，GPU的使用可以显著加快计算速度，提高模型训练效率。因此，了解PyTorch是否可以使用GPU是非常重要的。
## 流程步骤
下表展示了判断PyTorch是否可以使用GPU的流程步骤：
| 步骤 | 操作 |
| ----
原创
2024-03-19 04:21:22
98阅读
当我们的电脑用久了，忘记具体配置性能是什么样时，可以适当测试一下电脑性能。下面是学习啦小编整理的测试电脑性能的方法，供您参考。测试电脑性能的方法一使用系统功能进行评测电脑的运行性能这种方法就是通过windows自带的评测功能进行测试。打开资源管理器，右键点击“属性”，进入到相应的窗口中来!如图所示：然后点击其中的“分级”项旁边的可点选项，如图所示：在弹出的相应的菜单中选择“测评”选项，小编这里之前
一、简介1 首先介绍下我想干啥？ 我是想用华硕i5电脑配置深度学习环境，使用GPU跑pytorch框架，由于官网（英伟达）英伟达显卡驱动下载官网，通过学习和了解发现，自己的电脑显卡是Geforce 820M,在哔哩哔哩上看的教程说，现在大部分使用的是CUDA9.2(因为比较稳定)，但是我的显卡驱动是388的，而CUDA9.2需要396及以上的驱动
TensorRT的命令行程序A.3.1. trtexec示例目录中包含一个名为trtexec的命令行包装工具。 trtexec是一种无需开发自己的应用程序即可快速使用 TensorRT 的工具。trtexec工具有三个主要用途：它对于在随机或用户提供的输入数据上对网络进行基准测试很有用。它对于从模型生成序列化引擎很有用。它对于从构建器生成序列化时序缓存很有用。A.3.1.1. Benchmarki
如何开启Dlib 的GPU功能实现人脸的识别（超详细一次安装成功） 第一步** 如果之前安装了DLIB CPU版本的先卸载掉 第二步安装成功的个版本配置 windows10 python 3.8dlib 19.19 VS2017.15.9CUDA10.0CUDNN7.6.5Cmake 3.8 第三步 VS2017.15.9 链接 https://visualstudio.microsoft.com
tensorflow由于谷歌的原因，不同的版本有时候改动比较大，所以决定好自己想使用的版本后就不要轻易更改，免得后续移植程序的时候出现很多错误。 本文以及后续文章关于tensorflow的学习和开发选在windows 10 平台上，使用python。不管是python还是tensorflow，网上都有很多安装方式，但是最简单快捷的应该是使用Anaconda。使用Anaconda管理环境最清晰
数据中心的配电系统绝大部分都涉及两路外市电相互之间的切换或者外部供电与柴油发电机组之间的切换。这些切换动作一般是由自动转换开关来实现的。这样看来，自动转换开关的可靠性将直接影响到供电系统的冗余架构是否能够发挥作用。一、什么是自动转换开关根据GB／T14048.11-2002《自动转换开关电器》的定义，自动转换开关设备(Automatic Transfer Switching Equipment)，
