CUDA存储器模型：GPU片内：register，shared memory；host 内存： host memory, pinned memory.板载显存：local memory,constant memory, texture memory, texture memory,global memory;register: 訪问延迟极低； &nb
转载
2024-10-24 16:07:40
17阅读
GPU ：主流众核协处理器GPU+CPU的异构并行体系OpenCL： CPU+GPU异构计算架构CUDA：NVIDIA 2007年推出的GPU通用计算产品cuda优缺点：cuda对于已经在cuda上的数据执行起来很快，但数据从cpu搬到cuda上却很耗时，而且依赖硬件。并发性 concurrency ：相对于软件系统硬件支持的并发性叫做并行性并行程序设计模型：任务并行（task paralleli
转载
2024-03-21 09:33:09
69阅读
CUDA存储器模型：CUDA限定符： 思想即是将内存数据拷贝到显存，在显存上执行并行运算，将结果数据从显存拷贝回内存。CUDA内有thrust库，类似于C++ stl库。===========以下是原文=========挖坑待填。 以上是本机CUDA参数。 需要了解的概念：线程束(wrap)，共享内存，常量内存，纹理内存(?，图形学相关，略)，流，原子操作
转载
2024-08-12 14:44:39
103阅读
GPU并行运算与CUDA编程--优化篇1.内存带宽受限Texture cache的利用__ldg()指定只读缓存Shared Memory的利用Constant cache的利用2.指令吞吐受限1.使用更快的指令2.使用intrinsic function3.减少Bank conflict4.减少warp里的指令发散3.延迟受限型1.增加active warp数量Occupancy2.从延迟源头解
转载
2024-03-17 14:47:09
258阅读
（一）目的将所学算法运用于图像处理中。（二）内容用并行计算的方法对图像进行直方图均衡处理。要求：利用直方图均衡算法处理lena_salt图像版本1：CPU实现版本2：GPU实现 实验步骤一 软件设计分析:数据类型：根据实验要求，本实验的数据类型为一个256*256*8的整型矩阵，其中元素的值为256*256个0-255的灰度值。存储方式：图像在内存中的存储方式主要是以二维矩阵的方式进行存
学习这个很长时间了一直没有去做个总结，现在大致总结一下并发包的线程池。首先，任何代码都是解决问题的，线程池解决什么问题？如果我们不用线程池，每次需要跑一个线程的时候自己new一个，会导致几个问题：1，不好统一管理线程和它们的相互之间的依赖关系，尤其是有的程序要做的事情很多的时候，线程的处理就显得很杂乱，更雪上加霜的是，线程本身就是不可预期的，不是说先跑的线程就一直在后跑的线程前面，一旦形成复杂的依
目录1、常用设定2、模型训练2.1、单GPU训练2.2、使用多个GPU进行训练3、模型推理1、常用设定1）默认使用4个GPU的分布式训练。2）ImageNet上所有pytorch样式的预训练主干都是由open-lab团队自己训练的，参考文章https://arxiv.org/pdf/1812.01187.pdf。其中ResNet样式主干基于ResNetV1c变体，其中输入主干中的7x7转换被三个3
转载
2024-08-23 07:56:00
276阅读
项目简介Forward 是一款腾讯平台和内容事业群（PCG）研发的 GPU 高性能推理加速框架。它直接加载主流框架模型（Tensorflow / PyTorch / Keras）转换成 TensorRT 推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT，Forward 更易用以及更容易扩展支持更多模型和算子。目前，Forward 除了覆盖支持主流的 CV
转载
2024-03-08 09:33:50
95阅读
再看看纯集成显卡GPU的mobilenet-ssd 的推理性能, 测试平台是i5 7440HQ, 4核4线程, GPU是Gen9 的GT2, 24EU, 属于纯大白菜集成显卡 首先是FP32模型当Batch size =1时inference request(nireq) = 1时，即同时只有一个推理请求Latency = 13.6ms, Throughtput = 73FP
转载
2024-03-17 14:51:24
252阅读
近来做模型移植，接触到移动端推理框架，做一个总结：1. Android NNAPI：一个基于安卓系统的可在移动设备上运行与机器学习相关的计算密集型操作的C语言API，NNAPI降为更高层次的构建和训练神经网络的机器学习框架（Tensorflow Lite，Caffe2等等）提供底层支持。这些API将会集成到所有的Android 8.1（以及更高版本）设备上。NNAPI高几层的系统架构如下图所示：2
转载
2024-03-21 22:05:54
409阅读
服务器处理性能估算系统的建设，必须满足未来5年业务发展和管理的需求，所以下面对服务器性能指标的估算，将以满足未来5年的需要为基准。1. 数据库服务器1.1. TPCC值估算约定： 系统同时在线用户数为100人（U1）； 平均每个用户每分钟发出2次业务请求（N1）； 系统发出的业务请求中，更新、查询、统
Window10+YOLOX推理训练（保姆级教程）前言：旷视科技推出了YOLOX，速度可以说是有很大的提升。 看图0.需要的配置本人显卡：GTX1660(6G)IDE：PycharmCuda11.2+cudnn8.2 （注意必须配套）Cuda下载链接CUDNN下载链接（需要登陆，邮箱登录就行）pip list安装Pytorch+ torchvision+torchaudio GPU版pip ins
转载
2024-08-15 16:24:51
97阅读
9 月 26 日，NVIDIA英伟达在北京举行GTC大会，NVIDIA 创始人兼首席执行官黄仁勋在演讲中展示了能够加快人工智能大规模采用速度的全新技术，并介绍了为云服务商、电商和智慧城市提供的各项计算平台服务。 发布AI 推理软件TensorRT 3：可每秒识别 5,200 张图片为满足市场需求，NVIDIA发布了 TensorRT 3 AI 推理软件，该软件能够在生
转载
2024-06-16 09:30:45
169阅读
测试机子配置： 1：AMD RX6600(显存8g)+i5 12600KF 16g内存 (台式机) 2：RTX 3070 laptop(显存8g)+i7 10870H 32g内存 (HP暗夜精灵笔记本) 两台电脑平均性能差不多，当然N卡肯定更好一点这边我们还是MS大发好，用MS的DirectML推理框架推理，虽然据小道消息反馈DML推理效率远不如Cuda，但是要知道DirectML的兼容性好啊，除
转载
2024-08-06 13:12:06
189阅读
Tensorflow的训练：使用 TPU 训练 TensorFlow 模型
TPU 简介 什么是 TPU TPU 代表 Tensor Processing Unit (张量处理单元) ，是由谷歌在 2016 年 5 月发布的为机器学习而构建的定制集成电路(ASIC)，并为 TensorFlow 量身定制。 早在 2015 年，谷歌大脑团队就成立
转载
2024-05-28 12:56:25
111阅读
<<Pytorch推理及范式>>第二节课作业必做题1.从torchvision中加载resnet18模型结构，并载入预训练好的模型权重 ‘resnet18-5c106cde.pth’ (在物料包的weights文件夹中)。import torch
# 加载模型结构
import torchvision.models as models
model = models.resn
转载
2024-01-10 23:51:57
203阅读
1.2 异构计算最初，计算机只包含用来运行编程任务的中央处理器（CPU）。近年来，高性能计算领域中的主流计算机不断添加了其他处理元素，其中最主要的就是GPU。GPU最初是被设计用来专门处理并行图形计算问题的，随着时间的推移，GPU已经成了更强大且更广义的处理器，在执行大规模并行计算中有着优越的性能和很高的效率。CPU和GPU是两个独立的处理器，它们通过单个计算节点中的PCI-Expre
转载
2024-09-27 17:52:44
69阅读
前言因项目需要，调研了一下目前市面上一些开源的OCR工具，支持本地部署，非调用API，主要有PaddleOCR/CnOCR/chinese_lite OCR/EasyOCR/Tesseract/chineseocr/mmocr这几款产品。 本文主要尝试了EasyOCR/CnOCR/Tesseract/PaddleOCR这四款产品。EasyOCREasyOCR官方仓库：https://github.
转载
2024-10-30 11:54:43
107阅读
摘要：从显存优化，计算优化两个方面来分析一下如何进行深度学习模型推理优化。作者： ross.xw。前言深度学习模型的开发周期，包括训练阶段和部署阶段。训练阶段，用户需要收集训练数据，定义自己的模型结构，在CPU或者GPU硬件上进行训练，这个过程反复优化，直到训练出满意精度的模型。有了模型之后，我们需要将模型服务部署运行，我们期望服务延迟越低越好，吞吐越高越好。这里会从显存优化，计算优化两个方面来分
机器推理在深度学习的影响下，准确性越来越高、速度越来越快。深度学习对人工智能行业发展的贡献巨大，这得益于现阶段硬件计算能力的提升、互联网海量训练数据的出现。本篇文章主要介绍深度学习过程中如何选择合适的GPU显卡，如果你是深度学习新手，希望这篇文章对你有帮助。推理用到的硬件分两种，一种是专业AI硬件公司出的AI芯片，一种就是我们平时熟知的GPU显卡了，前者不太适合入门学习，而后者无论从入门难度还是性
转载
2024-05-07 14:52:08
658阅读
