一：参数更新1.普通更新最简单的更新方法就是将参数沿着负梯度的方向更新。由于要将损失值降到最小，所以沿下降最快的负梯度进行下降。假设有一个变量x和它的梯度dx，那么普通更新为x += - learning_rate * dx learning_rate为学习率，是一个固定常量/超参数，作用于全局数据，总会使损失值减小。 2.动量更新这种方法是模拟物理。将损失值看作是一座山，而优化的过程就是一质点在
转载
2024-04-22 13:17:02
98阅读
前言网上经常看到各种IO：BIO、NIO、AIO…花了点时间研究了下，大致了解其模型和原理，特整理一份笔记。学习不同的IO模型之前，有几个概念必须先理清楚。同步、异步同步异步关注的是消息的通信机制，也是相对而言的。同步：程序有序性，第二步的执行必须依赖第一步，只有当第一步执行完了，第二步才能开始执行。异步：程序无序，第二步的执行不依赖于第一步，即使第一步没完成，第二步照样执行。 JS中的setTi
【时间】2018.12.13【题目】tf.ConfigProto和tf.GPUOptions用法总结概述tf.ConfigProto一般用在创建session的时候，用来对session进行参数配置，而tf.GPUOptions可以作为设置tf.ConfigProto时的一个参数选项，一般用于限制GPU资源的使用。一、tf.ConfigPrototf.ConfigProto一般用在创建sessio
转载
2024-06-25 06:47:35
77阅读
【导读】用CPU训练机器学习模型太耗时但GPU又太贵？ 今天介绍一种免费使用谷歌GPU的方法。是的，永久免费。训练模型，无疑是机器学习中最耗费时间和成本最高的部分。在GPU上训练模型可以将训练速度提升接近40倍，将2天的训练时间减少到几个小时。但是——提升速度通常意味着你要花钱。还好小编有幸遇到了一个95后小盆友Jhonson，给我介绍了一款叫做Google Colab的伟大工具，能够永
转载
2024-05-13 10:18:26
83阅读
当我们使用top命令查看系统的资源使用情况时会看到 load average，如下图所示。它表示系统在1、5、15分钟的平均工作负载。那么什么是负载(load)呢？它和CPU的利用率又有什么关系呢？load average:系统平均负载是CPU的Load，它所包含的信息不是CPU的使用率状况，而是在一段时间内CPU正在处理以及等待CPU处理的进程数之和的统计信息，也就是CPU使用队列的
转载
2024-02-29 16:21:39
101阅读
1、前言 本系列的上篇文章中，我们简要探讨了C10M问题的由来以及基本的技术实现思路（详见《 高性能网络编程(三)：下一个10年，是时候考虑C10M并发问题了 》），本文内容由京东的资深架构师闫国旗分享，以分享者多年的实践和总结，进一步探讨解决C10M问题的理论可行性。 对于中小型应用场景来说，实现单机10万、单机百万、单机千万的负载能力，对团队的运营成本以及产品投入其实差别不是太大。但对于大量、
对于显卡的安排与维护：
查看gpu每张卡，每个人使用的状态，使用python库的gpustat，如果没有，激活管理员权限，激活python环境后使用如下命令后输入gpustat就可以看到具体使用情况
pip install gpustat
实时刷新gpu使用情况：
watch -n 1 nvidia-smi
如果实时刷新gpu使用情况中，gpu显存占的很多，并且gpu使用率一直为0，说明可能
转载
2023-09-12 14:36:49
651阅读
本系列持续更新中，Github 地址请查阅这里。这是 JavaScript 工作原理的第三章。我们将会讨论日常使用中另一个被开发者越来越忽略的重要话题，这都是日益成熟和复杂的编程语言的锅，即内存管理问题。我们将会提供在创建 SessionStack 的时候所遵循的处理 JavaScript 内存泄漏的几条小技巧，因为我们需要保证 SessionStack 不会引起内存泄漏或者不会增加我们所集成的
# PyTorch调用GPU后使用率为0
在机器学习和深度学习领域，GPU的加速作用不言而喻。PyTorch是一个开源的深度学习框架，可以利用GPU加速计算，提高模型训练的速度。然而，有时候我们会遇到一个问题，就是在PyTorch调用GPU后，GPU的使用率却为0，导致模型训练速度没有提升。本文将介绍可能导致这种情况的原因，并提供解决方法。
## GPU使用率为0的原因
1. **未正确安装
原创
2024-05-19 05:15:16
646阅读
一、引言 前天在GitHub上看到一幅图，问如何向五岁的小孩讲解并发和并行。然后有人以这幅图做答： 这幅图有点儿意思，用咖啡机的比喻来形容并发和并行，从中最直接的体会是，并发是有状态的，某一线程同时执行一个任务，完了才能进行到下一个，而并行是无状态的。 近些年，计算机的处理能力成指数能力增长。处理能力也
原标题 | A Full Hardware Guide to Deep Learning作者 | Tim Dettmers 译者 | linlh、呀啦呼（Tufts University）、Ryan222（重庆邮电大学）深度学习是非常消耗计算资源的，毫无疑问这就需要多核高速的CPU。但买一个更快的CPU有没有必要？在构建深度学习系统时，最糟糕的事情之一就是把钱浪费在不必要的硬件上。本
转载
2023-11-08 06:51:21
334阅读
# 深度学习中GPU使用率为0的排查与解决方案
在深度学习的实战中，GPU作为高效的计算设备，往往能大幅提高训练速度。然而，有些时候你可能会面临GPU使用率为0的尴尬局面。本文将带你详细分析原因、排查步骤以及解决方法，帮助你提升模型训练效果。
## 解决流程概览
以下是解决“深度学习中GPU使用率为0”的具体步骤：
| 步骤序号 | 步骤名称 | 描述
openCV训练程序申请内存不足
在用OpenCV训练分类器（特别是训练Adaboost类型的分类器）的时候，当样本的数量特别大的时候，就会出现申请内存不够的情况，很早以前碰到过这样的情况，最近再训练的时候又出现了这样的情况，于是在网上找了一下解决方法。首先给出我的配置吧，win7 64位 + vs2010 + opencv2.4.9，其实这个问题的产生应该只与系统有关系本
转载
2024-03-15 19:30:51
41阅读
1. 使用GPU训练一直在纠结把GPU的使用放在哪里，觉得放在pytorch那里也不太合适，所以就放在这里了。 按照唱歌和不唱歌太难区分了，所以我用星黛露和草莓熊新建的训练集： 测试集：方法一使用GPU训练需要在：①网络模型、②损失函数、③数据，三个地方调用.cuda()即可。严谨一点，我们需要加上判断torch.cuda.is_available()。完整代码如下：import torch
fr
转载
2024-05-07 18:19:17
69阅读
最近发现移动平台上经常出现不明黑色色块，像是除零错误。排查之后定位到GGX函数上： inline half GGXTerm(half NdotH, half roughness)
{
half a = roughness * roughness;
half a2 = a * a;
half d = NdotH * NdotH * (a2 - 1.0
转载
2024-05-02 10:40:40
134阅读
# 如何解决PyTorch模型训练中GPU利用率为0的问题
## 引言
在使用 PyTorch 进行模型训练时，遇到 GPU 利用率为0的情况是非常常见的。这意味着你的代码没有成功地利用 GPU 来加速训练，可能是由于多种原因造成的。在本文中，我将指导你逐步检查和解决这个问题的流程。
## 整体流程
以下是解决 GPU 利用率为 0 的步骤：
| 步骤 | 任务描述 |
| ---- |
原创
2024-09-17 03:52:30
320阅读
这[1]是关于使用 PyTorch Profiler 和 TensorBoard 分析和优化 PyTorch 模型主题的系列文章的第三部分。我们的目的是强调基于 GPU 的训练工作负载的性能分析和优化的好处及其对训练速度和成本的潜在影响。特别是，我们希望向所有机器学习开发人员展示 PyTorch Profiler 和 TensorBoard 等分析工具的可访问性。您无需成为 CUDA 专家即可通过
转载
2024-07-29 15:05:38
60阅读
在Linux/Unix下，CPU利用率（CPU utilization）分为用户态，系统态和空闲态，分别表示CPU处于用户态执行的时间，系统内核执行的时间，和空闲系统进程执行的时间。平时所说的CPU利用率是指：CPU执行非系统空闲进程的时间 / CPU总的执行时间。(上述代码中使用的方法为：1 - CPU空闲运行时间/总运行时间 ，与这个计算方法原理上是一样的）
&nb
作为一个NLPer，bert应该是会经常用到的一个模型了。但bert可调参数很多，一些技巧也很多，比如加上weight-decay, layer初始化、冻结参数、只优化部分层参数等等，方法太多了，每次都会纠结该怎么样去finetune，才能让bert训练的又快又好呢，有没有可能形成一个又快又好又准的大体方向的准则呢。于是，就基于这个研究、实践了一番，总结了这篇文章。1.使用误差修正，训练收敛变快，
1.Yolov5学习率调整策略:lr_scheduler.LambdaLR本代码模拟yolov5的学习率调整，深度解析其中torch.optim.lr_scheduler在yolov5的使用方法，有助于提高我们对该代码的理解。 为了简单实现模拟yolov5的学习率调整策略，在此代码中我使用resnet18网络，yolov5则使用的是darknet网络骨架。 在yolov5代码训练的过程中，作
