Win10下安装TensorRT

原创

wx63dcd9d7dd8a8 2023-07-16 08:04:49 ©著作权

文章标签 人工智能 TensorRT 模型加速深度学习目标检测 文章分类 HarmonyOS 后端开发

©著作权归作者所有：来自51CTO博客作者wx63dcd9d7dd8a8的原创作品，请联系作者获取转载授权，否则将追究法律责任

Win10下安装TensorRT

前言
相关介绍
Win10下安装TensorRT

查看cuda版本
下载tensorrt8.xx版本，适用于Windows的cuda11.x的版本
解压下载好的压缩包
使用pip下载wheel文件
遇到新问题

解决方法

测试TensorRT是否安装成功

参考

YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层YOLOv5：IoU、GIoU、DIoU、CIoU、EIoUYOLOv7训练自己的数据集（口罩检测）YOLOv8训练自己的数据集（足球检测）玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测写本文的起因是在windows系统直接使用pip install nvidia-tensorrt下载TensorRT报错。终端：pip install nvidia-tensorrt -i

https://pypi.tuna.tsinghua.edu.cn/simple报错如下：WARNING: Ignore distutils configs in setup.cfg due to encoding errors.
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple, https://pypi.ngc.nvidia.com
Collecting nvidia-tensorrt
  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/b8/a3/3da2bd25b6243d7a19b6c08c0e92f7c04f9863e70d213fee3141d574dccb/nvidia-tensorrt-0.0.1.dev5.tar.gz (7.9 kB)
  Preparing metadata (setup.py) ... error
  error: subprocess-exited-with-error

  × python setup.py egg_info did not run successfully.
  │ exit code: 1
  ╰─> [17 lines of output]
      Traceback (most recent call last):
        File "", line 2, in 
        File "", line 34, in 
        File "C:\Users\Administrator\AppData\Local\Temp\pip-install-507mwyww\nvidia-tensorrt_0d45dd2f5dc44b6c8cc7e459b0fecde9\setup.py", line 150, in 
          raise RuntimeError(open("ERROR.txt", "r").read())
      RuntimeError:
      ###########################################################################################
      The package you are trying to install is only a placeholder project on PyPI.org repository.
      This package is hosted on NVIDIA Python Package Index.

      This package can be installed as:
      ```
      $ pip install nvidia-pyindex
      $ pip install nvidia-tensorrt
      ```
      ###########################################################################################

      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.
error: metadata-generation-failed

× Encountered error while generating package metadata.
╰─> See above for output.

note: This is an issue with the package mentioned above, not pip.
hint: See above for details.

相关介绍

Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
PyTorch 是一个深度学习框架，封装好了很多网络和深度学习相关的工具方便我们调用，而不用我们一个个去单独写了。它分为 CPU 和 GPU 版本，其他框架还有 TensorFlow、Caffe 等。PyTorch 是由 Facebook 人工智能研究院（FAIR）基于 Torch 推出的，它是一个基于 Python 的可续计算包，提供两个高级功能：1、具有强大的 GPU 加速的张量计算（如 NumPy）；2、构建深度神经网络时的自动微分机制。
TensorRT是NVIDIA推出的深度学习推理引擎，它可以将深度学习模型转换为高效的可部署格式，并在NVIDIA GPU上进行推理。TensorRT可以通过减少网络中的冗余计算、合并层、减少精度等方式来优化深度学习模型，从而提高模型的推理速度和吞吐量。TensorRT支持多种深度学习框架，包括TensorFlow、Caffe、Mxnet、Pytorch等¹²³。
TensorRT的优点包括：
高性能：在GPU上进行推理，比CPU快40倍。
低延迟：通过减少网络中的冗余计算、合并层、减少精度等方式来优化深度学习模型，从而提高模型的推理速度和吞吐量。
易于部署：支持多种深度学习框架，包括TensorFlow、Caffe、Mxnet、Pytorch等。
灵活性：支持多种精度，包括FP32、FP16和INT8。
TensorRT的缺点包括：
仅适用于推理，不支持训练。
仅适用于NVIDIA GPU。
需要对模型进行重新训练和转换。