神经网络和深度学习入门神经网络松散地模拟人脑中的神经网，是深度学习(DL)的基础，这是一个复杂的数学系统，可以自己学习执行任务。通过查看许多示例或关联，NN可以比传统的识别程序更快地学习连接和关系。训练就是基于对数百万同一类型的样本的学习来配置NN以执行特定任务的过程。例如，一个NN可能聆听许多声音样本并使用DL来学习“识别”特定单词的声音。然后，该NN就可以筛选新的声音样本清单，并使用称为推理的
Tensorflow的训练：使用 TPU 训练 TensorFlow 模型
TPU 简介 什么是 TPU TPU 代表 Tensor Processing Unit (张量处理单元) ，是由谷歌在 2016 年 5 月发布的为机器学习而构建的定制集成电路(ASIC)，并为 TensorFlow 量身定制。 早在 2015 年，谷歌大脑团队就成立
转载
2024-05-28 12:56:25
111阅读
YOLOv5（You Only Look Once, version 5）是一个流行的目标检测模型，以其速度快、准确率高而受到广泛关注。本文将详细解析YOLOv5的原理，并深入解读其Pytorch源码，带你领略这一模型的技术魅力。 一、YOLOv5原理分析 YOLOv5的目标检测过程主要包括以下几个步骤：图像预处理：将输入图像进行归一化处理，使其满足模型要求。特征提取：通过卷积神经网络提取图像特征
YOLOv4在速度和准确率上都十分优异，作者使用了大量的trick，论文也写得很扎实，在工程还是学术上都有十分重要的意义，既可以学习如何调参，也可以了解目标检测的trick。 论文: YOLOv4: Optimal Speed and Accuracy of Object Detection论文地址：https://arxiv.org/abs/2004.10934论文代码：https://gi
1. 背景需求：针对视频形式的数据输入，对每一帧图像，有多个神经网络模型需要进行推理并获得预测结果。如何让整个推理过程更加高效，尝试了几种不同的方案。硬件：单显卡主机。2. 方案由于存在多个模型需要推理，但模型之间没有相互依赖关系，因此很容易想到通过并行的方式来提高运行效率。对比了如下几种方案的结果，包括：串行线程进程协程3. 实现3.1 整体流程配置了 4 个体量相近的模型。
为了屏蔽读取和解码
转载
2024-10-23 20:45:20
221阅读
Window10+YOLOX推理训练（保姆级教程）前言：旷视科技推出了YOLOX，速度可以说是有很大的提升。 看图0.需要的配置本人显卡：GTX1660(6G)IDE：PycharmCuda11.2+cudnn8.2 （注意必须配套）Cuda下载链接CUDNN下载链接（需要登陆，邮箱登录就行）pip list安装Pytorch+ torchvision+torchaudio GPU版pip ins
转载
2024-08-15 16:24:51
97阅读
包含关系 开发平台（框架）深度学习的框架，相当于建筑中搭建起了各种钢筋混泥土结构，有了基本的受力和承重结构，用户根据需要按照各自喜好和需求形成房间，改变户型，满足具体的需求。目前，人工智能的开发平台有很多。国外有Facebook的Pytorch、Google的tensorflow（2.0版本已收纳keras）、Caffe、Microsoft的ML.NET等，国内有百度的paddle
转载
2024-08-21 10:54:03
2179阅读
电脑性能由CPU(中央处理器)、主板、显卡、网卡、声卡等共同决定，如果主板、显卡不行，CPU再好也不行，这5个中，CPU、主板、显卡在决定电脑性能中占的比重大一些。 (推荐学习：phpstorm)1、运算速度：计算机运算速度是指每秒钟所能执行的指令条数，同一台计算机，执行不同的运算所需时间可能不同，因而对运算速度的描述常采用不同的方法。常用的有CPU时钟频率(主频)、每秒平均执行指令数(ips)等
9 月 26 日，NVIDIA英伟达在北京举行GTC大会，NVIDIA 创始人兼首席执行官黄仁勋在演讲中展示了能够加快人工智能大规模采用速度的全新技术，并介绍了为云服务商、电商和智慧城市提供的各项计算平台服务。 发布AI 推理软件TensorRT 3：可每秒识别 5,200 张图片为满足市场需求，NVIDIA发布了 TensorRT 3 AI 推理软件，该软件能够在生
转载
2024-06-16 09:30:45
169阅读
进程就是程序的一次执行活动，是系统进行资源分配和调度的一个独立单位，程序是静态的，进程是动态的。 而引入线程的目的，我认为主要有以下四个优点： （1）易于调度。 （2）提高并发性。通过线程可以方便有效地实现并发。 （3）开销小。 （4）有利于发挥多处理器的功能。通过创建多线程，每个线程都在一个处理器上运行，从而实现应用程序的并行，使每个处理器得到充分运行。线程和进程的区别： （1）一个线程
转载
2024-07-24 13:20:42
75阅读
上篇写了执行模型，这篇继续总结[1]的第四章: 内存模型。首先介绍CUDA内存空间以及物理内存与逻辑内存的对应关系，后续文章写如何通过改善访存策略来提升CUDA Kernel函数的性能。参考文献：[1] PROFESSIONAL CUDA C Programming. John Cheng, Max Grossman, Ty McKercher.[2] CUDA C PROGRAMMIN
转载
2024-10-18 22:18:28
90阅读
如何确定ollama用gpu推理还是cpu推理
在深度学习的推理环节，了解模型是使用GPU还是CPU进行推理，对于优化模型性能和资源利用是至关重要的。特别是，对于使用ollama的开发者，确认推理的执行环境可以显著影响计算效率和响应时间。以下内容将详细梳理出如何确认ollama在使用 GPU 进行推理还是 CPU 推理的过程。
背景描述
--------
在使用ollama进行推理时，有时我
前言onnx模型作为中间模型，相较于pytorch直接推理，是有加速度效果的，且推理代码简单，不需要load各种网络。最近某些项目因为显存不够，onnxruntime推理时切换CPU/GPU，实现某些模型在CPU上推理，某些在GPU上推理。 查了一些别人的文章发现很多人都说onnxruntime推理没法像pytorch那样指定GPU,CPU,只能卸载一个GPU用CPU，卸载CPU用GPU。个人感觉
转载
2024-03-18 11:01:56
181阅读
©作者 | HKUST&DAMO TECH始智AI wisemodel.cn社区已上线2个月，是类huggingface社区的产品，将努力打造成中国最活跃的中立AI开源社区。“源享计划”即开源共享计划，大家自己研发的开源模型和数据集，以及基于开源成果衍生的开源模型和数据集等，欢迎同步发布到国内wisemodel.cn社区，方便大家更容易获取和使用。大型语言模型（LLMs）在学术和
转载
2024-06-15 16:36:21
322阅读
目录1、常用设定2、模型训练2.1、单GPU训练2.2、使用多个GPU进行训练3、模型推理1、常用设定1）默认使用4个GPU的分布式训练。2）ImageNet上所有pytorch样式的预训练主干都是由open-lab团队自己训练的，参考文章https://arxiv.org/pdf/1812.01187.pdf。其中ResNet样式主干基于ResNetV1c变体，其中输入主干中的7x7转换被三个3
转载
2024-08-23 07:56:00
273阅读
再看看纯集成显卡GPU的mobilenet-ssd 的推理性能, 测试平台是i5 7440HQ, 4核4线程, GPU是Gen9 的GT2, 24EU, 属于纯大白菜集成显卡 首先是FP32模型当Batch size =1时inference request(nireq) = 1时，即同时只有一个推理请求Latency = 13.6ms, Throughtput = 73FP
转载
2024-03-17 14:51:24
252阅读
项目简介Forward 是一款腾讯平台和内容事业群（PCG）研发的 GPU 高性能推理加速框架。它直接加载主流框架模型（Tensorflow / PyTorch / Keras）转换成 TensorRT 推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT，Forward 更易用以及更容易扩展支持更多模型和算子。目前，Forward 除了覆盖支持主流的 CV
转载
2024-03-08 09:33:50
95阅读
作者：JSong 评分卡可以用来预测客户的好坏。当一个评分卡已经构建完成，并且有一组个人分数和其对应的好坏状态的数据时，我们想知道所构建的评分卡是否可靠？可靠程度如何？而这取决于如何去定义这个“好”字。一般有三种角度可以来评估：评分卡分类划分的准确程度，如错误率、准确率、召回率、F1评分卡的判别能力，评估评分卡将好人和坏人分离开的程度，如KS统计量、ROC曲线、GINI系数评分卡概率预测的校准精度
转载
2024-10-14 14:26:55
211阅读
晓查在数据中心分类下，英伟达2年前的推理卡T4依然能“大杀特杀”，7月推出的A100毫无意外占据榜单第一名。英伟达表示A100在数据中心推荐系统测试中，其表现出的性能比英特尔Cooper Lake CPU高237倍，即使是T4也比CPU高出28倍。△ 图片来自英伟达官方英伟达在官方博客中称，英伟达在第二版MLPerf推理榜中赢得了数据中心和边缘计算系统六个应用领域的所有测试。可以看出，每
文章目录1.计算机内存模型2.Java内存模型-JMM2.1概述2.2内存模型结构2.3内存间交互操作2.4先行发生原则：happens-before2.5原子性2.6可见性volatile之可见性：synchronized之可见性：2.7有序性volatile之有序性：synchronized之有序性：1.计算机内存模型计算机在执行程序时，每条指令都是在 CPU 中执行的，而执行指令过程中，势必
