作者：禅与计算机程序设计艺术 BERT: 小文件学习：如何用 BERT 在不牺牲性能的情况下减小模型文件大小引言2.1. 背景介绍随着深度学习模型在各个领域的不斷发展，模型的文件大小也越来越大，给训练和部署带来了一定的困难。为了解决这个问题，近年来提出了一种称为“小文件学习”的技术，即在不牺牲性能的情况下减小模型文件的大小。而 BERT（Bidirectional Encoder Represen
动手学深度学习-深度学习计算笔记一、层和块1.自定义块2.顺序块3.在前向传播函数中执行代码二、参数管理1.访问参数2.参数初始化3.参数绑定三、自定义层1.不带参数的层2.带参数的层四、读写文件1.加载和保存张量2.加载和保存模型参数 一、层和块1.自定义块每个块必须提供的基本功能:将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。计算其输
转载
2024-04-18 15:51:04
80阅读
一、访问模型参数： import torch
from torch import nn
from torch.nn import init
net = nn.Sequential(nn.Linear(4, 3), nn.ReLU(), nn.Linear(3, 1)) # pytorch已进行默认初始化 上一节说了，Sequential类继承自Module类，对于Sequential实例中含
转载
2023-07-28 21:01:18
351阅读
文章目录：1 模型构建函数1.1 add_module1.2 ModuleList1.3 Sequential1.4 小总结2 遍历模型结构2.1 modules()2.2 named_modules()2.3 parameters()3 保存与载入本文是对一些函数的学习。函数主要包括下面四个方便：模型构建的函数：add_module,add_module,add_module
访问子模块：add
转载
2024-01-21 10:04:35
79阅读
一、计算量 计算量是模型所需的计算次数，反映了模型对硬件计算单元的需求。计算量一般用 OPs (Operations) ，即计算次数来表示。由于最常用的数据格式为 float32，因此也常常被写作 FLOPs (Floating Point Operations)，
转载
2023-10-06 11:58:29
583阅读
关于“PyTorch 计算模型大小”的讨论
在机器学习尤其是深度学习中，有效管理模型大小是一个重要的课题。模型的规模直接影响到计算资源的消耗、训练及推理的速度，甚至会影响到模型的推广能力。而使用 PyTorch 作为框架的高级功能和灵活性，让这一过程有了更广阔的空间。
### 初始技术痛点
在初始阶段，不同模型的复杂性和大小难以量化，这使得开发人员在基于 PyTorch 的项目中陷入了困境。
# PyTorch计算模型FLOPs
在深度学习中，FLOPs（Floating Point Operations per Second）是衡量模型计算复杂度的一种指标。它表示在每秒内执行的浮点数操作的数量。在PyTorch中，我们可以使用torchsummary库来计算模型的FLOPs。本文将为你介绍如何使用PyTorch和torchsummary来计算模型的FLOPs。
## 什么是FLO
原创
2024-01-25 07:55:28
843阅读
训练神经网络时，最常用的算法就是反向传播。在该算法中，参数（模型权重）会根据损失函数关于对应参数的梯度进行调整。为了计算这些梯度，PyTorch内置了名为 torch.autograd 的微分引擎。它支持任意计算图的自动梯度计算。一个最简单的单层神经网络，输入 x，参数 w 和 b，某个损失函数。它可以用PyTorch这样定义：import torch
x = torch.ones(5)
转载
2024-04-20 22:21:41
77阅读
。文章目录：目录1 模型构建函数1.1 add_module1.2 ModuleList1.3 Sequential1.4 小总结2 遍历模型结构2.1 modules()2.2 named_modules()2.3 parameters()3 保存与载入本文是对一些函数的学习。函数主要包括下面四个方便：模型构建的函数：add_module,add_module,add_module
访问子模块：
转载
2023-09-17 11:11:11
200阅读
文章目录一.导包&定义一个简单的网络二.获取网络需要剪枝的模块三.模块结构化剪枝（核心）四.总结 目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级
转载
2023-12-18 23:34:58
100阅读
目录在 MMDeploy 添加 TensorRT 插件创建 ONNX 节点C++ 实现测试总结在前面的模型入门系列文章中，我们介绍了部署一个 PyTorch 模型到推理后端，如 ONNXRuntime，这其中可能遇到很多工程性的问题。有些可以通过创建 ONNX 节点来解决，该节点仍然使用后端原生的实现进行推理。而有些无法导出到后端的算法，可以通过重写代码改变算法的实现过程，同样可以导出到 ONNX
stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。2022/12/21更新：感谢BirB先生的修正，已修正错误的翻译。距离写这篇过去十个月了，我介绍下我新的理解： 如果一个方法仅在训练时启用，那就 if self.training:来执行，比如 dropout，通过在训练时随机屏蔽若干个节点来提高鲁棒性（dropout 不用额外判断 training，它自己有设置）。 如果在输
数学建模的十大算法 1、蒙特卡罗算法（该算法又称随机性模拟算法，是通过计算机仿真来解决问题的算法，同时可以通过模拟可以来检验自己模型的正确性，是比赛时必用的方法） 2、数据拟合、参数估计、插值等数据处理算法（比赛中通常会遇到大量的数据需要处理，而处理数据的关键就在于这些算法，通常使用Matlab作为工具） &n
转载
2024-09-25 16:10:29
40阅读
线性回归 顾名思义，线性回归即解决机器学习中的回归问题。通过对不同的特征赋予不同的权重，以及一个偏置来构建一个回归模型。以达到最好的 拟合数据的效果，并实现预测数据的目的。我们直接使用pytorch封装好的神经网络模型来完成一个初步的线性回归问题。，生成数据集import numpy as np
import torch
from torch.utils import data
from d2l
转载
2023-10-23 09:29:53
65阅读
文章目录1 为什么要做并行计算2 CUDA是个啥3 做并行的方法3.1 **网络结构分布到不同的设备中(Network partitioning)**3.2 **同一层的任务分布到不同数据中**(**Layer-wise partitioning**)3.3 **不同的数据分布到不同的设备中，执行相同的任务(Data parallelism)**4 参考链接 在利用PyTorch做深度学习的过程
转载
2023-09-28 17:55:11
123阅读
1、在安装最新版Python3.*之前，我们先熟悉一下系统自带的python。Mac系统自带python路径为 ／System／Library／Frameworks／Python.framework/Version （可以在terminal 输入open…）2、下载安装最新版的python 发现python3被安装到了/usr/local/bin/python3目录下，有兴趣的小伙伴自行前往查
转载
2023-10-22 08:23:20
147阅读
# PyTorch 不计算某个模型梯度的详细教程
在深度学习中，有时我们不希望对某些模型参数计算梯度。比如在迁移学习中，只希望微调特定层的参数，而将其他层的梯度冻结。本文将详细阐述如何在 PyTorch 中实现这一目标。
## 流程概述
下面是针对不计算某个模型梯度的流程图，这个流程可以概括为以下几步：
| 步骤 | 描述
任务背景使用Flask微框架部署花数据集分类模型项目数据+代码Flask简介Flask 是一个轻量级的 Web 应用框架，用 Python 编写。它基于 Werkzeug WSGI 工具箱和 Jinja2 模板引擎。Flask 也被称为“微框架”，因为它旨在保持核心简单且易于扩展，开发者可以按需添加功能。 以下是 Flask 的一些主要特点：轻量级和简单：Flask 保持核心简单，使得开发者能够轻
# PyTorch模型并行计算框架入门指南
在深度学习中，模型并行计算是一种将大型模型分散到多个设备（如GPU）上进行训练的技术。这种方式能够显著提高训练速度，特别是当模型超大时。本文将逐步教你如何实现一个PyTorch模型并行计算框架。
## 流程概述
首先，我们将介绍实现模型并行计算的基本步骤，以下是步骤表：
| 步骤 | 描述
用 PyTorch 迁移学习（Transfer Learning）实现图像分类作者: PyTorch 中文网 教程将手把手教你用 PyTorch 实现迁移学习（Transfer Learning）来做图像分类。数据库我们采用的是 Caltech 101 dataset，这个数据集包含 101 个图像分类，大多数分类只包含 50 张左右的图像，这对于神经网络来讲是远远不
