英伟达的深度学习推理引擎TensorRT是连接神经网络框架与GPU之间的桥梁，它支持所有种类的神经网络框架，近期也实现了容器化，目前的TensorRT是5.1版。6月17日，英伟达宣布了TensorRT的开源。
项目链接：https://github.com/NVIDIA/TensorRT
本次开源的内容是英伟达 TensorRT 的一部分，其中包括 TensorRT 的插件与一些解析器
转载
2019-06-25 08:24:30
235阅读
英伟达TRTTorch PyTorch JIT的提前（AOT）编译Ahead of Time (AOT) compiling for PyTorch JIT TRTorch是PyTorch / TorchScript的编译器，通过NVIDIA针对NVIDIA GPU的TensorRT深度学习优化器和
转载
2021-01-03 17:18:00
337阅读
2评论
【全球财经观察 ｜ 新闻速递】7月23日消息，据国外媒体报道，知情人士称日本软银
原创
2023-04-13 10:07:15
104阅读
Linux下的安装 本文是为了记录安装TensorRT过程中遇到的一些问题。首先进入TensorRT下载页面，选择你要下载的TensorRT版本。 因为TensorRT不同的版本依赖于不同的cuda版本和cudnn版本。所以很多时候我们都是根据我们自己电脑的cuda版本和cudnn版本来决定要下载哪个TensorRT版本。查看cuda版本： 可以看到，我的cuda版本为11.3。查看cudnn版
又好久没更新了，一方面是最近事情有点多，另一方面最近也确实有点懒。 之前我说要把硬件部分补完，要写Nvidia的GPU，我估计一篇写不完，所以先写点。 早先的硬件文章可以参考：上一篇：解读神秘的华为昇腾910 (qq.com)上上一篇Microsoft Maia (qq.com)上上上篇Goo
原创
2024-05-15 22:39:53
114阅读
上一章地址 英伟达的GPU(4) (qq.com)我们之前讲过了GPU的kernel,线程划分,内存管理这节我们讲一下多个GPU的通信从这张 NVLink 性能发展的图表可以看出，NVLink 技术自 2014 年以来经历了多次升级，性能不断提高。以下是各代 NVLink 的发展和性能提升情况：NVLink 性能发展历程P100 (1st Generation NVLink):发布年份：2014性
原创
2024-08-10 22:14:25
200阅读
先安装基础库sudo apt-get install qtbase5-dev然后安装QTcreatersudo apt-get install qt5-default qtcreator -y
原创
2022-04-22 15:32:07
1112阅读
书接上文 上篇地址：英伟达的GPU(1) (qq.com) 上文书，我们讲到NV GPU的SM，SM的组件 CUDA Core：向量运行单元 （FP32-FPU、FP64-DPU、INT32-ALU），这块最容易被混淆，CUDA Core来实现矩阵计算是用的向量化能力，
原创
精选
2024-05-18 17:11:10
226阅读
上节内容：英伟达的GPU(2) (qq.com) 书接上文，上文我们讲到CUDA编程体系和硬件的关系，也留了一个小问题CUDA core以外的矩阵计算能力是咋提供的 本节介绍一下Tensor Core 执行矩阵运算的逻辑，基本就是矩阵的一条横向量*另一个矩阵的列向量（逻辑上可以这么认为）&nbs
原创
2024-05-25 12:38:53
133阅读
更第四篇，上周有点私事，恢复更新上次的文章 英伟达的GPU(3) (qq.com)书接前文，我们上章说要更新GPU的内存机制，本次就讲点这个 先做个定义，我们说内存（显存），也分物理内存（SRAM,DRAM.HBM）和逻辑内存(逻辑可访问地址，这个倒和物理不一定1:1对应)，这个和处理CPU的项目的时候没啥区别。 我们之前讲
原创
2024-06-08 11:23:59
123阅读
3月11日消息，英伟达官方宣布已经达成协议，以69亿美元现金收购以色列芯片商Mellanox Technologies。这是英伟达史上最大规模的一笔收购交易。此前，微软赛灵思英特尔均参与了Mellanox的竞购，收购价预计在50-60亿美元区间。彭博社称，英伟达正在为这家以色列公司支付每股125美元的现金，该公司生产的芯片用于加速计算机服务器之间的信息流动。这比其周五收盘价109.38美元溢价14
原创
2021-05-11 13:24:39
1491阅读
点赞
目录 0.AI芯片最强科普1.比特大陆 第三代云端AI芯片性能提升6倍，BM16842.深度：32家公司决战云端AI芯片！3.华为AI芯片到底有多强？4.在手机终端5.在边缘计算6.车载场景0.AI芯片最强科普
云端AI芯片算力要求很高，目前已知单芯片算力最高的是华为昇腾910在算力方面，昇腾910完全达到了设计规格，即：半精度（FP16）算力达到256 Tera-FLOPS，整数精度（
转载
2024-05-01 21:44:00
2251阅读
我的电脑详细配置信息： 安装intel核显驱动 sudo pacman -S xf86-video-intel 编辑pacman.conf文件启用32位软件源 sudo vim /etc/pacman.conf 将以下两行的注释取消（删除前面的#） [multilib] Include = /etc ...
转载
2021-09-16 22:43:00
6325阅读
2评论
nvidia-smi -pm 1 # enable persistance modenvidia-smi -pl 125 # set power limit to 125Wnvidia-smi -lgc 500,500 # lock the gpu clock, 500 is generally safe, you can try h
原创
2021-07-05 20:50:01
1997阅读
前言：新质生产力的发展轰轰烈烈，学习人家的长处是遥遥领先的基础；一方面是轰轰烈烈，落地的另外一方面却是拐了十八
原创
2024-06-04 11:25:14
0阅读
