logger的作用是用于记录和打印日志的工具, 跟之前一样是继承了nvinfer1::ILogger的, 这个里面是封装
原创
2024-08-02 16:15:23
159阅读
一、整体流程概览使用pytorch训练模型，生成*.pth文件将*.pth转换成onnx模型在tensorrt中加载onnx模型，并转换成trt的object在trt中使用第三步转换的object进行推理二、pth转换成onnx转换的具体步骤请参考我之前的文章<使用NCNN在移动端部署深度学习模型>
需要特别说明的地方在于关于onnx支持的操作算子问题，目前onnx的最新版本已经基本支
转载
2023-12-28 07:00:38
87阅读
什么是TensorRTTensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库，是一个用于生产部署的优化器和运行时引擎。其高性能计算能力依赖于Nvidia的图形处理单元。它专注于推理任务，与常用的神经网络学习框架形成互补，包括TensorFlow、Caffe、PyTorch、MXNet等。可以直接载入这些框架的已训练模型文件，也提供了API接口通过编程自行构建模型。&
转载
2024-04-25 14:07:01
148阅读
文章目录1、什么是TensorRT2、流程3、推荐方案3.1 视频作者的方案3.2 方案优缺点3.3 方案具体过程4、如何正确导出ONNX，并在C++中推理4.1 指定维度时不加int与加int4.1.1 指定维度时不加int4.1.2 指定维度时加int5、如何在C++中使用起来6、动态batch和动态宽高的处理方式6.1 动态batch的指定6.2 动态宽高的指定7、实现一个自定义插件参考：
转载
2024-08-31 19:49:36
1249阅读
tensorboard --logdir runs 改为 tensorboard --logdir=D:\model\tensorboard\runs重点 在网上看了很多方法后发现将原本链接中的计算机名改为localhost，即http://localhost:6006/后能成功解决该问题，显示结果tensorboard --logdir=D:\model\tensorboard\run
TensorRT 简介TensorRT 是 英伟达公司 根据自己的 硬件设备 面向 AI工作者 推出的 一种 模型部署方案；同时 可以对网络进行 压缩、优化，它通过 combines layers、kernel 优化选择，以及根据指定精度执行归一化和转换成最优的 matrix math 方法，改善网络延迟、吞吐量和效率，实现模型加速，官方称 可以达到 6倍以上；它支持 多种 深度学习 框架，如 t
转载
2024-05-01 23:18:59
230阅读
前提：用的yolov5的版本为v5.0，tensorrt版本8.0一//
yolov5+deepsort+tensorrt
运行./yolosort报错：
yolov5_trt_create ...
terminate called after throwing an instance of 'std::bad_alloc'
what(): std::bad_alloc
已放弃
转载
2023-06-29 13:55:37
243阅读
1. 问题训练时采用的pytorch框架，采用动态尺寸的输入。所以最好的目标就是像用pytorch一样，采用动态尺寸的输入，得到动态尺寸的输出 pspnet解码部分的上采样，在python下能得到任意尺寸的输出，但导出到onnx时是不能的
原创
2021-09-07 10:40:46
717阅读
本文档涉及到的目标硬件为全志H8(8核Cortex-A7，Armv7架构)，但是对其他Arm芯片也有一定的借鉴意义，只需要更换交叉编译链即可。本部分详细介绍了Tensorflow针对Arm-Linux操作系统的源码编译，主要内容是参考《在Ubuntu 16.04上使用bazel交叉编译tensorflow》而来。本文档中介绍的编译方法是使用X86_64机器的Ubuntu环境下进行Tensorflo
文章目录1.TensorRT 下载2.安装3.测试4.运行5.TensorRT-优化-原理补充 1.TensorRT 下载TensorRT 各个版本的下载网址（用这个网址可以跳过 老黄的调查问卷）： https://developer.nvidia.com/nvidia-tensorrt-8x-download https://developer.nvidia.com/nvidia-tensor
1. TensorRT 的 C++ API 使用示例进行推理，需要先创建IExecutionContext对象，要创建这个对象，就需要先创建一个ICudaEngine的对象（engine）。两种创建engine的方式：使用模型文件创建engine，并可把创建的engine序列化后存储到硬盘以便后面直接使用；使用之前已经序列化存储的engine，这种方式比较高效些，因为解析模型并生成engine还是
关键词: python c 混合编程简介首先应该明确，tensorrt是c写的，而且是没有开源的。同时其提供的sample中有c++的和python的。这里我们解析一下tensorrt python的使用解析，为什么能调c的部分。1. c使用的动态库下载tensorrt ，解压之后在lib文件夹下有所有c/c++使用的动态库。可以将路径加入到环境变量：$LD_LIBRARY_PATH。Linux系统就可以发现这些动态库了。在c/c++使用的时候，只需要相关的头文件和这些动态库就ok了，然后按.
原创
2021-09-07 10:51:15
1834阅读
论文：FaceNet: A Unified Embedding for Face Recognition and Clustering
时间：2015.04.13来自谷歌的一篇文章，这篇文章主要讲述的是一个利用深度学习来进行人脸验证的方法，目前在LFW上面取得了最好的成绩，识别率为99.63%（LFW最近数据刷的好猛）。传统的基于CNN的人脸识别方法为：利用CNN的siamese网络来提取人脸特
答：第一个用在调用cuda_runtime提供的API函数，所以，都会返回一个cudaError_t类型的变量，需要将变量传入到第一个函数.com
原创
2024-07-31 10:25:47
159阅读
当我们执行下面的hello.py时，使用的flask自带的服务器，完成了web服务的启动。在生产环境中，flask自带的服务器，无法满足性能要求，我们这里采用Gunicorn做wsgi容器，来部署flask程序。Gunicorn（绿色独角兽）是一个Python WSGI的HTTP服务器。从Ruby的独角兽（Unicorn ）项目移植。该Gunicorn服务器与各种Web框架兼容，实现非常简单，轻量
最近看了莫烦Python的《了解机器学习部分》，虽然讲的内容是基础的，但是，自己总结一下才知道自己是不是记住啦，我总结的可能有错误或者不合适的地方，希望大家及时批评指正啦。https://morvanzhou.github.io/tutorials/machine-learning一、卷积神经网络cnn卷积神经网络主要在图像和语音识别方面表现比较出色，卷积就是图像上的各个像素通过卷积核
## 使用TensorRT部署你的神经网络
TensorRT是一个高性能深度学习推理优化器，可以将训练好的神经网络模型转化为高效的推理模型，以提高推理性能。在本文中，我们将介绍如何使用TensorRT来部署你的神经网络，并通过一个实例来演示具体的步骤。
### 1. 安装TensorRT
首先，我们需要安装TensorRT。可以从NVIDIA的官方网站下载并安装TensorRT。安装完成后，
原创
2023-09-03 12:08:33
118阅读
DataWorks是阿里云上的一款热门产品，可以为用户提供大数据开发调度服务。它支持了Data Lake Analytics（后文简称DLA）以后，DLA用户可以通过它进行定时任务调度，非常方便。本文将主要介绍如何使用DataWorks调度DLA的循环任务。 场景 使用DLA对历史数据按天做清洗。数
转载
2019-04-22 17:07:00
1009阅读
2评论
算法部署 | 使用TensorRT部署AlphaPose姿态估计算法
原创
2024-04-25 10:44:15
67阅读
trt
原创
2022-10-16 01:26:28
458阅读
