动手学深度学习-深度学习计算笔记一、层和块1.自定义块2.顺序块3.在前向传播函数中执行代码二、参数管理1.访问参数2.参数初始化3.参数绑定三、自定义层1.不带参数的层2.带参数的层四、读写文件1.加载和保存张量2.加载和保存模型参数 一、层和块1.自定义块每个块必须提供的基本功能:将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。计算其输
转载
2024-04-18 15:51:04
80阅读
## PyTorch模型查看memory bandwidth
PyTorch是一个流行的深度学习框架，它提供了丰富的工具和函数来帮助开发者轻松构建和训练神经网络模型。在优化深度学习模型性能时，了解模型的内存带宽使用情况对于提高训练和推理速度很有帮助。在本文中，我们将介绍如何使用PyTorch来查看模型的内存带宽使用情况，并通过代码示例来说明。
### 内存带宽概述
内存带宽是指计算机内存系统
原创
2024-01-14 04:34:56
280阅读
概况1. Word-hmm 一个词对应一个hmm的情况，对应的训练数据如果删除了开始结尾的静音数据的话，无需标注既可以训练。常用训练流程：HInit->HRest对于训练数据较少而且需要较好的抗噪性，可以使用固定方差的模型。模型的方差可以使用HCompV进行估算，无需进行重估。2. Sub-word hmm 对于
转载
2024-09-27 16:06:17
42阅读
一、访问模型参数： import torch
from torch import nn
from torch.nn import init
net = nn.Sequential(nn.Linear(4, 3), nn.ReLU(), nn.Linear(3, 1)) # pytorch已进行默认初始化 上一节说了，Sequential类继承自Module类，对于Sequential实例中含
转载
2023-07-28 21:01:18
351阅读
一、计算量 计算量是模型所需的计算次数，反映了模型对硬件计算单元的需求。计算量一般用 OPs (Operations) ，即计算次数来表示。由于最常用的数据格式为 float32，因此也常常被写作 FLOPs (Floating Point Operations)，
转载
2023-10-06 11:58:29
583阅读
文章目录：1 模型构建函数1.1 add_module1.2 ModuleList1.3 Sequential1.4 小总结2 遍历模型结构2.1 modules()2.2 named_modules()2.3 parameters()3 保存与载入本文是对一些函数的学习。函数主要包括下面四个方便：模型构建的函数：add_module,add_module,add_module
访问子模块：add
转载
2024-01-21 10:04:35
79阅读
训练神经网络时，最常用的算法就是反向传播。在该算法中，参数（模型权重）会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度，PyTorch内置了名为 torch.autograd 的微分引擎。它支持任意计算图的自动梯度计算。一个最简单的单层神经网络，输入 x，参数 w 和 b，某个损失函数。它可以用PyTorch这样定义：import torch
x = torch.ones(5)
转载
2024-04-20 22:21:41
77阅读
。文章目录：目录1 模型构建函数1.1 add_module1.2 ModuleList1.3 Sequential1.4 小总结2 遍历模型结构2.1 modules()2.2 named_modules()2.3 parameters()3 保存与载入本文是对一些函数的学习。函数主要包括下面四个方便：模型构建的函数：add_module,add_module,add_module
访问子模块：
转载
2023-09-17 11:11:11
200阅读
关于“PyTorch 计算模型大小”的讨论
在机器学习尤其是深度学习中，有效管理模型大小是一个重要的课题。模型的规模直接影响到计算资源的消耗、训练及推理的速度，甚至会影响到模型的推广能力。而使用 PyTorch 作为框架的高级功能和灵活性，让这一过程有了更广阔的空间。
### 初始技术痛点
在初始阶段，不同模型的复杂性和大小难以量化，这使得开发人员在基于 PyTorch 的项目中陷入了困境。
作者：禅与计算机程序设计艺术 BERT: 小文件学习：如何用 BERT 在不牺牲性能的情况下减小模型文件大小引言2.1. 背景介绍随着深度学习模型在各个领域的不斷发展，模型的文件大小也越来越大，给训练和部署带来了一定的困难。为了解决这个问题，近年来提出了一种称为“小文件学习”的技术，即在不牺牲性能的情况下减小模型文件的大小。而 BERT（Bidirectional Encoder Represen
# PyTorch计算模型FLOPs
在深度学习中，FLOPs（Floating Point Operations per Second）是衡量模型计算复杂度的一种指标。它表示在每秒内执行的浮点数操作的数量。在PyTorch中，我们可以使用torchsummary库来计算模型的FLOPs。本文将为你介绍如何使用PyTorch和torchsummary来计算模型的FLOPs。
## 什么是FLO
原创
2024-01-25 07:55:28
843阅读
## PyTorch Reserved Memory
### 简介
在PyTorch中，如果我们分配了一个大的Tensor或创建了一个大的模型，可能会出现内存不足的情况。为了避免这种情况，我们可以使用PyTorch的"reserved memory"功能。通过预留内存，我们可以确保在运行代码时不会遇到内存不足的问题。
### 流程
下面是实现"PyTorch Reserved Memory
原创
2023-08-10 17:44:20
211阅读
# PyTorch内存查看方法及示例
PyTorch是一个开源的深度学习框架，广泛应用于机器学习和人工智能领域。在进行深度学习模型训练时，了解模型占用的内存情况是非常重要的，可以帮助我们优化代码，提高性能。本文将介绍PyTorch中如何查看内存使用情况，并通过示例代码演示如何实现。
## PyTorch内存查看方法
PyTorch提供了`torch.cuda.memory_allocated
原创
2024-03-26 08:20:05
150阅读
# PyTorch Memory Printing
PyTorch is a popular open-source machine learning library that provides a flexible and dynamic computational graph for building and training deep learning models. One common
原创
2024-06-26 05:33:46
39阅读
文章目录一.导包&定义一个简单的网络二.获取网络需要剪枝的模块三.模块结构化剪枝（核心）四.总结 目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级
转载
2023-12-18 23:34:58
100阅读
数学建模的十大算法 1、蒙特卡罗算法（该算法又称随机性模拟算法，是通过计算机仿真来解决问题的算法，同时可以通过模拟可以来检验自己模型的正确性，是比赛时必用的方法） 2、数据拟合、参数估计、插值等数据处理算法（比赛中通常会遇到大量的数据需要处理，而处理数据的关键就在于这些算法，通常使用Matlab作为工具） &n
转载
2024-09-25 16:10:29
40阅读
stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。2022/12/21更新：感谢BirB先生的修正，已修正错误的翻译。距离写这篇过去十个月了，我介绍下我新的理解： 如果一个方法仅在训练时启用，那就 if self.training:来执行，比如 dropout，通过在训练时随机屏蔽若干个节点来提高鲁棒性（dropout 不用额外判断 training，它自己有设置）。 如果在输
目录在 MMDeploy 添加 TensorRT 插件创建 ONNX 节点C++ 实现测试总结在前面的模型入门系列文章中，我们介绍了部署一个 PyTorch 模型到推理后端，如 ONNXRuntime，这其中可能遇到很多工程性的问题。有些可以通过创建 ONNX 节点来解决，该节点仍然使用后端原生的实现进行推理。而有些无法导出到后端的算法，可以通过重写代码改变算法的实现过程，同样可以导出到 ONNX
线性回归 顾名思义，线性回归即解决机器学习中的回归问题。通过对不同的特征赋予不同的权重，以及一个偏置来构建一个回归模型。以达到最好的 拟合数据的效果，并实现预测数据的目的。我们直接使用pytorch封装好的神经网络模型来完成一个初步的线性回归问题。，生成数据集import numpy as np
import torch
from torch.utils import data
from d2l
转载
2023-10-23 09:29:53
65阅读
文章目录1 为什么要做并行计算2 CUDA是个啥3 做并行的方法3.1 **网络结构分布到不同的设备中(Network partitioning)**3.2 **同一层的任务分布到不同数据中**(**Layer-wise partitioning**)3.3 **不同的数据分布到不同的设备中，执行相同的任务(Data parallelism)**4 参考链接 在利用PyTorch做深度学习的过程
转载
2023-09-28 17:55:11
123阅读
