cuda版本的选择CUDA与cudnn有多种安装方式，目前搜索cuda下载默认打开的是10.2：https://developer.nvidia.com/cuda-downloads进入连接，按照要求选择。本人使用的是1070，Ubuntu18.04，驱动为440.59，因此这里直接选择了10.2，如果你不是请参开该网址以下两个网址https://developer.nvidia.com/cuda
转载
2024-07-09 21:17:22
98阅读
分析其实一个模型所占用的显存主要包含两部分： 模型自身的参数， 优化器参数， 模型每层的输入输出。其实一个模型所占用的显存主要包含两部分： 模型自身的参数， 优化器参数， 模型每层的输入输出。1、模型自身参数 模型自身的参数指的就是各个网络层的 Weight 和Bias，这部分显存在模型加载完成之后就会被占用， 注意到的是，有些层是有参数的，如CNN， RNN； 而有些层是无参数的， 如激活层，
转载
2024-04-18 10:21:26
359阅读
GPU架构SM（Streaming Multiprocessors）是GPU架构中非常重要的部分，GPU硬件的并行性就是由SM决定的。以Fermi架构为例，其包含以下主要组成部分：CUDA coresShared Memory/L1CacheRegister FileLoad/Store UnitsSpecial Function UnitsWarp SchedulerGPU中每个SM都设计成支持
转载
2024-07-19 15:17:14
169阅读
1. 小声BIBI 曾几何时，年少无知的我将CPU使用率和负载混为一谈，简单的认为负载高了就是CPU使用率高，直到碰到了一次现网事故时发现CPU的load很高，但是CPU使用率却很低，苦于基础能力薄弱，只能求助大神才将事故解决，痛定思痛，下面就开始学习一些CPU性能相关的基础知识。本博文主要讲CPU的平均负载和简单的问题排查。2. 前期准备能联通互联网的Linux环境，我
转载
2024-04-16 19:28:16
645阅读
1.整理数据集1.1 建立目录格式建立文件夹层次为darknet/VOCdevkit/VOC2007VOC2007下面建立两个文件夹：Annotations和JPEGImagesJPEGImages放所有的训练和测试图片，Annotations放所有的xml标记文件1.2生成训练和测试文件切换conda虚拟环境至pytorch，darknet目录下的gen_file.py中classes=["Bi
cudaMallocManaged 分配旨在供主机或设备代码使用的内存，并且现在仍在享受这种方法的便利之处，即在实现自动内存迁移且简化编程的同时，而无需深入了解 cudaMallocManaged 所分配统一内存 (UM) 实际工作原理的详细信息。nsys profile 提供有关加速应用程序中 UM 管理的详细信息，并在利用这些信息的同时结合对 UM 工作原理的更深入理解，进而为优化加速应用程序
转载
2024-07-01 12:46:36
82阅读
最近在用CUDA做算法的性能优化，研究了一下影响CUDA性能的诸多因素。其中占用率是衡量流处理器（SM）上活跃线程束比例的重要参数，计算公式是每个SM中活跃线程束的数量/每个SM中最大的线程束的数量。要计算占用率，其实就是计算一个SM上最多能放几个block，或者几个warp，分别要从寄存器和共享内存两个方面计算。寄存器：每个线程需要的寄存器大小已知（如果不知道可以nvvp跑一下，看看核函数占用的
转载
2024-03-15 14:01:40
965阅读
ollama 吃满CPU问题紧急处理过程记录
在现代的AI模型运行中，面对“ollama吃满CPU”的问题，我们的系统承载了高强度的计算负载，导致了系统资源的紧张。为了解决这一问题，我们进行了一系列的分析和优化工作。以下是详细的处理过程。
### 背景定位
在我们的应用场景中，ollama是一个依赖于高性能计算的AI聚合服务，可以为多种业务提供自然语言处理能力。然而，在实际运用中，我们发现o
目前深度学习中比较主流的框架Pytorch，如何支持GPU环境。安装教程如下：首先安装CUDA和cudnn： CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。(官方解释)下载地址：CUDA Toolkit 11.5 Upda
转载
2023-10-09 15:11:27
290阅读
## 如何在GPU上运行PyTorch
在深度学习任务中，通常会使用GPU来加速计算，PyTorch也提供了GPU加速的功能。本文将介绍如何在GPU上运行PyTorch，并提供一些代码示例和逻辑清晰的说明。
### 1. 检查GPU是否可用
首先，我们需要检查当前系统是否安装了CUDA驱动并且是否有可用的GPU。
```python
import torch
if torch.cuda.
原创
2024-05-01 05:53:24
36阅读
1、为什么要装CUDA，CUDNN：先来讲讲CPU和GPU的关系和差别吧。截图来自（CUDA的官方文档）： 从上图可以看出GPU（图像处理器，Graphics Processing Unit）和CPU（中央处理器，Central Processing Unit）在设计上的主要差异在于GPU有更多的运算单元（如图中绿色的ALU），而Control和Cache单元不如CPU多，这是因为GPU在进行并行
转载
2024-04-16 17:23:18
236阅读
设备占用率(occupation)1、公式设备占有率是用来衡量核函数的配置分配是否是一个高效率的分配方式。 occupation=(active warps)/(max warps)2、max warpsmax warps是每个SM中最多的线程束数量，是一个常量。可以通过查询本机的GPU架构，可知每个SM里最大的可分配的线程数MAX_THREAD_PER_SM(我的机子为2048)，以及每个war
转载
2024-09-21 15:39:09
41阅读
作业主要内容此次培训作业主要包括：1.yolo原理的了解 2.环境的配置 3.labellmg的安装与使用 4.对yolo代码的一些解析一、yolo原理的了解yolo原理的基本了解二、环境的配置1.NVIDIA驱动的安装与更新查找自己的显卡型号，步骤为：此电脑右击–>管理–>设备管理器–>显示适配器。就可以看到电脑显卡的版本，到官网进行驱动更新。 官网链接：在这 仔细根据自己的电
数字万用表使用方法：首先要了解一些基础，比如： power 电源开关 HOLD锁屏按键, B/L一般是为背光灯， 其次要了解 转换开关 V-或DCV 是直流电压挡的意思 V~或ACV交流电压挡的意思 A-或DCA直流电流挡的意思 A~或ACA是交流电流挡的意思， Ω是电阻挡的意思，画一个二极管的符号那个是二极管档也称蜂鸣档，F表示电容挡， H表示电感挡 hfe表示三极管电流放大系数测试挡 一般数字
“CUDA 是NVIDIA的GPGPU模型，它使用C语言为基础，可以直接以大多数人熟悉的C语言，写出在显示芯片上执行的程序，而不需要去学习特定的显示芯片的指令或是特殊的结构。”CUDA是什么？能吃吗？编者注：NVIDIA的GeFoce 8800GTX发布后，它的通用计算架构CUDA经过一年多的推广后，现在已经在有相当多的论文发表，在商业应用软件等方面也初步出现了视频编解码、金融、地质勘探、科学
GPU 的硬件基本概念Nvidia的版本： 实际上在 nVidia 的 GPU 里，最基本的处理单元是所谓的 SP(Streaming Processor)，而一颗 nVidia 的 GPU 里，会有非常多的 SP 可以同时做计算;而数个 SP 会在附加一些其他单元，一起组成一个 SM(Streaming Multiprocessor)。几个 SM 则会在组成所谓的 TPC(Texture Pr
转载
2024-07-03 21:41:57
76阅读
1.CUDA对应的NVIDIA驱动版本对照表，参考一下表格2.显卡驱动安装，参考这里我这里选择安装的显卡驱动是NVIDIA-Linux-x86_64-410.78.run，安装是否成功，可以输入这个命令nvidia-smi，如果有显示GPU信息，那就是安装成功了。3.cuda安装装cuda首先需要降级：sudo add-apt-repository ppa:ubuntu-toolchain-r/t
转载
2024-07-22 12:41:25
2205阅读
一、典型GPU程序构成一个典型GPU程序有如下几个部分：①CPU在GPU上分配内存②CPU将CPU中的数据copy到GPU中③调用内核函数来处理数据④CPU将GPU中的数据copy到CPU中 *可以看出，四个步骤中有两个是数据的copy，因此如果你的程序需要不断地进行copy，那么运行效率会比较低，不适合利用GPU运算。一般情况下，最好的方式是，让GPU进行大量运算，同时保证计算量与通信
转载
2023-09-08 18:30:55
181阅读
2023.8.24更新：在经过一段时间的学习摸索与踩坑后，笔者十分不建议各位在windows上部署深度学习环境，这是一件费力不讨好的事。不仅在编程时需要花费额外精力，在复现其他工作时也容易出现各种“别人很少遇到的”bug。以下为原文，发布于2021-02-01 21:34:32。博主花了两天时间，总算在win10笔记本上完成了cuda环境的部署，期间踩了很多坑。现有的教程大都是通过anaconda
目录一、前言二、安装CUDA、cuDNN和PyTorchCUDA的安装cuDNN的安装三、验证是否安装成功一、前言在进行深度学习模型训练时，可以使用CPU训练，但通常比较慢，也可以采用GPU进行加速训练，从而缩短训练时间。目前支持深度学习的显卡只有NIVDIA，AMD是不支持的，因此AMD显卡的用户不用再纠结于CUDA的安装了，直接安装CPU版本的PyTorch就好了。要使用GPU进行加速训练，要
转载
2023-10-21 09:50:16
27阅读
