1 概述 word embedding 是现在自然语言处理中最常用的 word representation 的方法，常用的word embedding 是word2vec的方法，然而word2vec本质上是一个静态模型，也就是说利用word2vec训练完每个词之后，词的表示就固定了，之后使用的时候，无论新句子上下文的信息是什么，这个词的word embedding 都不会跟随上下文的场景发生变
写在前面：以此记录关于模型显存和参数量的一些理解和计算。首先是“运算量”和“参数量”两个概念： 参数量：这个比较好理解，例如卷积层中的卷积核c_i*k*k*n_o，其参数量就是相乘的结果。而且，无论输入图像的尺寸怎么变（YOLO实现中的multi scale训练策略），只要模型结构确定，参数量就固定。还需要注意，参数都是FP32（4字节）存放，所以模型大小是参数量*4。 运算量：使用FLOPs衡量
转载
2024-03-22 15:00:17
164阅读
原始模型就是给出一个原始对象来指明要创建对象的类型，然后用复制这个原始对象的方法创建出更多同类型的对象。 要理解原始模型需要先理解浅层次的拷贝与深层次的拷贝之间的不同。 浅层次拷贝就是获取的新对象是一份拷贝，然而所引用的对象仅仅拷贝的是内存地址。拷贝对象和原对象共享内存地址，这就意味
转载
2024-10-13 13:04:55
216阅读
在解析代码之前，我们现在看一下SRM模型。 第一个函数表示一个spike应该具有的形状。其中tf是上一个发放脉冲的时间。 第二个函数中Iext描述的是所有突触前脉冲时间对膜电位产生的影响。 第三个函数应该很好理解，就是一个静息电位的电压。 早期的文章里SRM模型被描述成： 第二项就是前任神经元对本神经元对影响。 第三项比较特殊 一般的SNN模型里强行规定在本神经元射了之后的任何输入刺激均直接舍弃，
最近对计算流体力学、网格地形很感兴趣。玩了玩相关的软件和算法代码。做个简单记录。 如何模拟地形：数字高程模型希望构建如下图的地理模型颇似游戏里面的3D建模，顺藤摸瓜找到了网格地形绘制涉及到结构网格和非结构网格：这里涉及到几个概念：数字高程模型（Digital Elevation Model, DEM），DEM是表示地形空间分布的一个三维向量系列{X, Y, Z},其中(X,
1. MobileNet v1 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 论文地址：https://arxiv.org/abs/1704.04861 PyTorch官方实现代码：https://pytorch.org/vision/stable/models.html#cl
转载
2024-06-07 15:33:28
263阅读
目录一.实验数据集设置二.训练前的准备三.知识蒸馏训练方式3.1 加载教师模型的最优参数，加载学生模型的最优参数，使用蒸馏方法训练3.2 加载教师模型的最优参数，学生模型用原始模型，然后使用蒸馏方法训练3.3 结果对比3.4 知识蒸馏的调参经验四.代码train_teacher_model.pytrain_student_model.pytrain_distill_student_model.p
目录1. 简介2. math 模块3. decimal 模块4. random 模块 1. 简介我们来看一下 Python 中数学相关模块，如下所示：模块描述math提供了对 C 标准定义的数学函数的访问（不适用于复数）cmath提供了一些关于复数的数学函数decimal为快速正确舍入的十进制浮点运算提供支持fractions为分数运算提供支持random实现各种分布的伪随机数生成器statis
转载
2024-04-08 22:33:28
15阅读
LeNet手写字体识别模型LeNet5诞生于1994年，是最早的卷积神经网络之一。LeNet5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别，这个网络也是最近大量神经网络架构的起点。卷积网络的第一个成功应用是由Yann LeCun在20世纪90年代开发的，其中最著名的是用于读取邮政编码、数字等的LeNet体系结构。AlexNetA
转载
2024-08-08 22:08:39
16阅读
tensorflow实现线性回归模型1.变量（1）变量的创建（2）变量的初始化（3）变量的作用域2.可视化学习Tensorboard（1）开启tensorboard（2）增加变量显示3.tensorflow实现线性回归实战（1）Tensorflow运算API（2）梯度下降API（3）实现线性回归4.模型加载和保存5.命令行参数 1.变量（1）变量的创建变量也是一种OP，是一种特殊的张量，能够进行
转载
2024-04-21 13:36:46
78阅读
# 如何在 PyTorch 中输出模型大小
在深度学习中，了解模型的大小对于各种任务（如模型优化、内存管理等）至关重要。本文旨在教会你如何在 PyTorch 中输出模型的大小。我们将通过几个简单的步骤来实现这一目标，最后为你提供相关代码示例和注释。
## 流程概述
下面是获取模型大小的整体流程：
| 步骤 | 描述 |
|------|------|
| 1 | 安装并导入必要的库
原创
2024-10-20 06:44:10
158阅读
这里省略了特征提取模块部分，个人感觉没什么好讲的，就是选用一个网络充当特征提取器，这个不是我们这个系列的重点，后面讲的部分都是以VGG16作为特征提取网络，需要注意一点就是由于VGG16的网络设计，经过conv层不改变特征图的尺寸，经过pool层特征图尺寸会缩小到原来的一半。VGG16一共有5个pool层，我们选用第4个pool层的输出作为提取出来的特征图，这样相比于原图就缩小了16倍，即下采样倍
转载
2024-09-08 20:05:54
119阅读
# 如何在Python中计算模型大小
在数据科学和机器学习的领域中，理解模型的大小是非常重要的。模型大小不仅影响模型的存储和加载速度，还与推理时的计算效率息息相关。本文将一步步教你如何在Python中计算模型的大小。
## 流程概述
为了计算Python模型的大小，我们将遵循以下步骤：
| 步骤 | 描述 |
|------|-----------
5.1 PyTorch模型定义的方式模型在深度学习中扮演着重要的角色，好的模型极大地促进了深度学习的发展进步，比如CNN的提出解决了图像、视频处理中的诸多问题，RNN/LSTM模型解决了序列数据处理的问题，GNN在图模型上发挥着重要的作用。当我们在向他人介绍一项深度学习工作的时候，对方可能首先要问的就是使用了哪些模型。因此，在PyTorch进阶操作的第一部分中，我们首先来学习PyTorch模型相关
1、从模型方面考虑。举例说明：本身问题是二次的，用线性模型处理问题就是欠拟合，用三次及更高次处理问题就是过拟合。但是这里未考虑数据量的多少，只是针对本身模型阶次的考虑。而且现实问题，越强大的模型是很难确定模型复杂度的。2、处理相同的问题时，在数据量多的情况，可以用相对复杂的模型处理问题，在数据量少的情况下，可以用相对简单的模型处理问题。过拟合：当数据量太少时，模型无法完成充分的训练，模型过度拟合用
转载
2024-04-30 18:14:10
222阅读
之前在开发中遇到一个问题，vue项目结合 element ui 使用。但是 element ui 的样式不一定符合我们的需求，这时我们就需要改变它的样式。比如博主使用到了element ui 的对话框，我想要改变这个对话框标题的颜色，所以我需要在页面中审查元素找到对应的标签。但是当我找到并且复制，然后试图去改变它的样式时，怎么都没办法改变。我以为是权重的问题，所以我加 ! important，但是
计算图的概念 计算图是TensorFlow中最基本的一个概念，TensorFlow中所有的计算都会被转化为计算图上的节点。 TensorFlow----Tensor（体现数据模型）和Flow（体现计算模型） 。Tensor就是张量。张量这个概念在物理和化学中有不同的解释，在本文中张量可以简单的理解为多维数组。Flow则体现了他的计算模型，中文翻译是‘流’，他直观的表达了张量之间通过计算相互转化的过
转载
2024-09-17 12:15:23
45阅读
关于“PyTorch 计算模型大小”的讨论
在机器学习尤其是深度学习中，有效管理模型大小是一个重要的课题。模型的规模直接影响到计算资源的消耗、训练及推理的速度，甚至会影响到模型的推广能力。而使用 PyTorch 作为框架的高级功能和灵活性，让这一过程有了更广阔的空间。
### 初始技术痛点
在初始阶段，不同模型的复杂性和大小难以量化，这使得开发人员在基于 PyTorch 的项目中陷入了困境。
目录0、准备1、数据处理---图片格式转成TFRecord格式2、模型训练3、验证训练后的效果说明：此处可以模仿源码中inception v3的分类案例slim预训练好的包含inception v1，inception v2，inception v3，inception v4，mobilenet v1，mobilenet v2，NasNet，pNasNet等。可以根据需要进行选择。0、准备0.1准
转载
2024-03-04 12:35:30
31阅读
本文介绍两篇发表于 ICML 2022 的论文，研究者都主要来自于 Google。两篇论文都是很实践性的分析论文。和常见的论文在模型做创新不一样，两篇论文都是针对现有 NLP 语言模型的架构和训练方法、探索其在不同场景下的优劣并总结出经验规律。在这里笔者优先整理一下两篇论文的主要实验结论： 1. 第一篇论文发现了虽然 encoder-decoder 占据了机器翻译的绝对主流，
转载
2024-04-03 14:03:17
173阅读
