推理代码：// tensorRT include
#include <NvInfer.h>
#include <NvInferRuntime.h>
// cuda include
#include <cuda_runtime.h>
// system include
#include <stdio.h>
#include <ma
转载
2023-12-23 23:05:23
488阅读
执行推理的步骤：推理就是指用tensorRT在gpu上去推理构建好的模型（engine），直接看代码注释就好，非常详细。engine的编译生成参见：tensorRT是怎么构建和编译一个模型的代码中的bindings是tensorRT对输入输出张量的描述，bindings可以认为是个数组，bindings=input-tensor+output-tensor，比如input有a，output有b，c
转载
2024-07-30 13:52:58
156阅读
# 使用 Python TensorRT 进行推理的简易指南
TensorRT 是 NVIDIA 提供的一款高性能深度学习推理优化库，主要用于在 NVIDIA GPU 上快速执行深度学习模型。借助 TensorRT，您可以显著提高模型的推理速度，并且减少推理时的计算资源消耗。本文将通过代码示例展示如何在 Python 中使用 TensorRT 进行推理。
## 安装 TensorRT
在开始
原创
2024-08-19 08:21:01
673阅读
作者：chen_h 计划现将 tensorflow 中的 Python API 做一个学习，这样方便以后的学习。 该章介绍有关稀疏张量的API 稀疏张量表示对于多维稀疏数据，TensorFlow提供了稀疏张量表示。稀疏张量里面的值都是采用IndexedSlices索引来表示，这样能更加高效的表示数据。 class tf.SparseTensor解释：这个函数的作用是
1、Tensorhttps://pytorch.org/docs/stable/tensors.htmlTensor其实就是一个高维度的矩阵或是type:shape:how to construct a tensor？ Operators: 2、Numpyhttps://github.com/wkentaro/pyto
traits 是Scala中能够被重用的一种基本单元。 trait 中封装了方法和字段定义，这样就可以将他们混合成类。和类的继承不同的是，类必须是单继承的，但是一个类中可以混有多个 trait. 这一章就是为你展现 trait 是如何工作的，并且展现了两个最常见的有用的方式：扩宽瘦接口到胖接口（widening thin interfaces to rich ones），并且定义了可存储的更改
# -*- coding: utf-8 -*-
"""
推荐系统的过程：给定一个用户，系统会为此用户返回N个最好的推荐菜。为了实现这个目的：
（1）寻找用户没有评级的菜肴，即在用户-物品矩阵中的0值。
（2）在用户没有评级的所有物品中，对每个物品预计一个可能的评级分数。这就是说，我们认为
用户可能会对物品的打分（这就是相似度计算的初衷）
（3）对这些物品的评分从高到低进行排
Tensor什么是TensorTensor（张量）是PyTorch最基本的操作对象，表示的是一个多维的矩阵，比如零维就是一个点，一维就向量，二维就是一般的矩阵，多维就相当于一个多维的数组，与python的numpy是对应的，而且PyTorch的Tensor可以和numpy的ndarray相互转换，唯一不同的是PyTorch可以再GPU上运行，而numpy的ndarray只能在CPU上运行。Tens
转载
2024-10-20 08:26:19
107阅读
# Python TensorRT引擎推理代码的介绍
TensorRT是NVIDIA推出的一款高性能深度学习推理库，专为加速深度学习模型的推理而设计。通过对模型进行优化和加速，TensorRT能在NVIDIA GPU上提供快速而高效的推理性能。在本文中，我们将探索如何使用Python编写TensorRT引擎的推理代码，同时提供一个代码示例，以及用饼状图展示推理性能的分布。
## TensorR
原创
2024-08-02 12:26:11
230阅读
文章目录0. 前言1. 安装2. 验证(第一个demo)1.1. 数据准备1.2. 代码编译与运行3. 样例源码解析3.1. 基本概念3.2. 主函数3.3. 将caffe模型转换为TensorRT可识别的形式3.4. 模型推理 0. 前言尝试使用TensorRT，主要内容包括
安装TensorRT运行第一个样例，即sampleMNIST分析样例源码1. 安装个人喜欢通过tar包安装，整体
转载
2024-02-03 10:14:32
402阅读
autograd:自动求导PyTorch中所有神经网络的核心是autograd包。让我们先简单地看一下，然后我们来训练我们的第一个神经网络。autograd包为张量上的所有操作提供自动微分。它是一个按运行定义的框架，这意味着反向传播是由代码的运行方式定义的，并且每个迭代都是不同的。 神经网络的依赖于autograd去定义模型以及对这些模型求导。一个nn.Module包含了神经层和一个带有深入返回输
转载
2024-09-21 13:11:09
51阅读
什么是Twisted1.Twisted是一个基于Reactor模式的异步IO网络框架首先说下什么是Reactor模式。Reactor模式就是利用循环体来等待事件发生，然后处理发生的事件的模式，如上图所示。Reactor主要有如下两个功能：监视一系列与你I/O操作相关的文件描述符(description)。监视文件描述符的过程是异步的，也就是说整个循环体是非阻塞的；不停地向你汇报那些准备好的I/O操
t-SNE本文主要是对An Introduction to t-SNE with Python Example博客的翻译记录，和一些入门的Python代码，可以的话推荐阅读原文。主要参考介绍：An Introduction to t-SNE with Python Example GitHub：sas-python-work/tSneExampleBlogPost.ipynbt-SNE-tutor
转载
2024-04-28 16:35:40
52阅读
原创
2021-09-07 14:04:54
2409阅读
在这篇文章中，我们将深入探讨如何在Python环境中使用TensorRT进行YOLOv8的实战推理，包括环境准备、分步指南、配置详解、验证测试、排错指南和扩展应用，帮助各位从业者高效实现目标。
### 环境准备
首先，确保您的系统满足YOLOv8和TensorRT的运行需求。在此部分，我们将直接进入必要的前置依赖安装和硬件资源评估。
**前置依赖安装：**
在开始之前，请确保您安装了以下依
onnx作为一个通用格式，很少有中文教程，因此开一篇文章对onnx 1.16文档进行翻译与进一步解释， onnx 1.16官方文档：https://onnx.ai/onnx/intro/index.html](https://onnx.ai/onnx/intro/index.html)， 开始编辑时间：2024/2/21；最后编辑时间：2024/2/21ONNX with Python本教程的第一
YOLO系列算法综述（2）——YOLO V2算法Abstract（摘要）1 Introduction（简介）2 Better（更好）3 Faster（更快）4 Stronger（更健壮）5 总 结 Abstract（摘要）隆重向您介绍我们的最新的成果——YOLO 9000，作为当前最先进的实时目标检测系统，YOLO 9000能够识别超过9000类目标。我们对YOLO检测算法做出了许多改进，既加入
YOLOV5之TensorRT加速：C++版前言1.TesnsorRT安装1.1 驱动安装、cuda和cudnn配置1.2 环境安装2. Download tensorrtx3. 使用C ++ API从头开始创建网络定义3.1 gLogger3.2 过程3.2.1 创建builder 和 network3.2.2 添加输入层，包括输入层名称，输入维度及类型3.2.3 添加卷积层、池化层、全连接层
转载
2023-11-11 01:45:07
410阅读
之前作者用滑动窗口和HOG来进行船体监测，在开放水域和港湾取得了不错的成绩，但是对于不一致的复杂背景，这个方法的性能会下降。为了解决这个缺点，作者使用YOLO作为物体检测的流水线，这个方法相比于HOG提高了对背景的辨别力，并且可以快速的在不同尺度和多样传感器上进行快速检测。ReviewImageNet上的目标检测和卫星图像上的检测有以下四个方面的不同：1.卫星图像的目标检测通常都很小（~20像
一、 前言对未来的预测能够帮助企业更好的把握当下。因此，时间序列任务广泛应用于交通、气象、金融、零售等行业。本文介绍如何使用TensorFlow进行深度学习的时间序列预测，主要依托我即将发布的一个时序包东流TFTS (TensorFlow Time Series) 。TFTS是一个时间序列的开源工具，采用TensorFlow框架，支持多种深度学习SOTA模型。中文名“东流”，源自辛弃疾“青山遮不住
