最近因为在已经安装了tensorflow的环境中又装了个opencv，结果突然发现import tensorflow一句竟然会导致程序崩溃！？到网上查了下发现是因为conda install opencv3会导致旧版本的numpy覆盖新版本的tensorflow带的numpy导致各种复杂的问题。在尝试重装numpy无效后我决定重新配置一次环境，并记录下过程和大家分享： 1
转载
2024-09-19 17:04:48
38阅读
一、 TensorRT基本介绍TensorRT是一种高性能深度学习推理优化器和运行时加速库，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框
转载
2024-02-05 00:57:14
451阅读
电脑配置：Windows 10；显卡 1660Ti；Cuda 10.2； Python 3.8；Pytorch 1.9；Libtorch 10.2（与Cuda版本一致）、Opencv343（版本无所谓）一、下载路径：https://download.pytorch.org/libtorch/cu102/libtorch-2.win-shared-with-deps-1.8.1%2Bcu102.zi
转载
2023-11-07 15:03:39
251阅读
Facenet网络介绍FaceNet是谷歌提出的人脸识别模型，它跟其他人脸识别模型最大的一个不同就是它不是一个中间层输出，而是直接在欧几里德低维空间嵌入生成人脸特征，这个对以后的各种识别、分类、相似度比较都非常方便。相比其他的深度学习方法，FaceNet仅需要128个字节来表示一张脸。FaceNet网络设计目标任务有如下
1.验证-验证是否为同一张脸
2.识别-识别是否为同一个人
3.聚类-发现人
tensorrt安装：sudo tar -xvf TensorRT-8.5.1.7.Linux.x86_64-gnu.cuda-11.8.cudnn8.6.tar.gz
#添加环境变量
vim ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/解压文件位置/TensorRT-8.5.1.7/lib
source ~/.bashrc&
原创
2023-06-15 11:14:01
183阅读
TensorFlow模型导出到OpenCV调用引言1.模型训练（1）些许改进（2）整体训练模型的代码如下：（3）生成模型（4）控制台结果2.使用tensorboard查看模型架构，找出输入输出（可跳过）（1）生成事件文件（2）在cmd中执行以下语句（3）执行结果（4）在浏览器中查看3.导出为pb文件（1）注意事项（2）代码如下：（3）执行结果如下4.查看pb文件的节点名称（可跳过）（1）代码如下
转载
2024-04-18 09:27:34
197阅读
TensorRT 简介TensorRT 是 英伟达公司 根据自己的 硬件设备 面向 AI工作者 推出的 一种 模型部署方案；同时 可以对网络进行 压缩、优化，它通过 combines layers、kernel 优化选择，以及根据指定精度执行归一化和转换成最优的 matrix math 方法，改善网络延迟、吞吐量和效率，实现模型加速，官方称 可以达到 6倍以上；它支持 多种 深度学习 框架，如 t
转载
2024-05-01 23:18:59
226阅读
Abstract这是我在19年年初在上海卫宁健康AI Lab实习所做的一个小工作，主要是将一个模型从Pytorch模型下转换成C++可执行进而可以部署在服务器上。当时做的时候参考资料找不到行之有效的解决方案。摸索了很长时间最终完成，这里写出来在Windows上的整个过程。Linux下没有尝试。本机环境：OS: Windows 10 专业版, GPU: GTX 960m软件版本：CUDA 8.0 +
转载
2023-11-15 21:42:41
112阅读
前提：用的yolov5的版本为v5.0，tensorrt版本8.0一//
yolov5+deepsort+tensorrt
运行./yolosort报错：
yolov5_trt_create ...
terminate called after throwing an instance of 'std::bad_alloc'
what(): std::bad_alloc
已放弃
转载
2023-06-29 13:55:37
243阅读
本文档涉及到的目标硬件为全志H8(8核Cortex-A7，Armv7架构)，但是对其他Arm芯片也有一定的借鉴意义，只需要更换交叉编译链即可。本部分详细介绍了Tensorflow针对Arm-Linux操作系统的源码编译，主要内容是参考《在Ubuntu 16.04上使用bazel交叉编译tensorflow》而来。本文档中介绍的编译方法是使用X86_64机器的Ubuntu环境下进行Tensorflo
autograd:自动求导PyTorch中所有神经网络的核心是autograd包。让我们先简单地看一下，然后我们来训练我们的第一个神经网络。autograd包为张量上的所有操作提供自动微分。它是一个按运行定义的框架，这意味着反向传播是由代码的运行方式定义的，并且每个迭代都是不同的。 神经网络的依赖于autograd去定义模型以及对这些模型求导。一个nn.Module包含了神经层和一个带有深入返回输
转载
2024-09-21 13:11:09
51阅读
1. TensorRT 的 C++ API 使用示例进行推理，需要先创建IExecutionContext对象，要创建这个对象，就需要先创建一个ICudaEngine的对象（engine）。两种创建engine的方式：使用模型文件创建engine，并可把创建的engine序列化后存储到硬盘以便后面直接使用；使用之前已经序列化存储的engine，这种方式比较高效些，因为解析模型并生成engine还是
PS:收好不谢，简单的做个介绍，分享的网盘里共有5个文件，1个anaconda，3个pytorch相关，1个opencv,贴图以示清白第二步：安装anaconda双击，记住，一定要双击Anaconda3-2020.11-Windows-x86_64.exe。然后就是一路的next按钮，上图
转载
2023-12-18 15:46:48
67阅读
学更好的别人，做更好的自己。——《微卡智享》实现效果导出的推理模型使用的是Minist中训练预测率为99%的ResNet模型，从上面两张图来看，大部分数字识别是没问题的，但是两张图中数字7都识别为数字1了。这个暂时不是本篇要解决的问题，我们先看看怎么实现的导出模型和推理。微卡智享导出模型由于不想再重新写一篇网络模型了，所以将原来train.py中的加载训练集和测试集，网络模型等都改为trainmo
转载
2024-04-27 08:59:26
66阅读
一.uff模型加载：1.创建一个空的网络network。It_0", DimsCHW(1, 28,
原创
2023-06-05 21:34:43
245阅读
的同志来说...
转载
2020-03-31 08:34:22
1078阅读
本文主要介绍了ONNX和TensorRT的IR信息，并且梳理了从ONNX转换成TensorRT计算图的主要流程。这里主要介绍了O
原创
2024-08-02 11:28:53
379阅读
void createngine() //生成 engine{ //创
原创
2023-06-05 21:37:35
138阅读
人脸检测模型OpenVINO的模型库中有多个人脸检测模型，这些模型分别支持不同场景与不同分辨率的人脸检测，同时检测精度与速度也不同。下面以OpenVINO2020 R04版本为例来逐一解释模型库中的人脸检测，列表如下：从列表中可以看出骨干特征网络主要是MobileNetv2与SqueezeNet两种支持实时特征网络，ResNet152是高精度的特征网络，检测头分别支持SSD、FCOS、ATSS。M
转载
2024-04-07 13:17:32
36阅读
在当今的深度学习模组中，PyTorch 已成为研究与生产环境中的热门选择。然而，尽管 PyTorch 拥有极佳的灵活性，如何将 PyTorch 模型转为 TensorRT（NVIDIA 的高性能推理库），以实现更快的推理速度与更低的延迟，依然是一个具有挑战性的问题。这篇文章将深入探讨这个过程，确保我们能够高效地解决这个问题，同时还会分析可能遇到的一些问题，帮助您优化工作流程。
### 问题背景
