【导读】深度学习模型，尤其是卷积神经网络的计算成本问题主要是由于卷积层和全连接层中大量进行乘法运算造成的。华为异构实验室的研究人员提出，用移位和求反运算代替乘法，可有效缓解计算成本过高的问题，同时精度与传统模型差距很小。深度学习模型（尤其是深度卷积神经网络）已在多种计算机视觉应用中获得了很高的准确性。但是，对于在移动环境中进行部署，事实证明，高计算量和功耗预算是主要瓶颈。卷积层和完全连接的层，由于
转载
2024-07-27 07:54:07
146阅读
引言作为2017年CVPR最佳论文，足以体现其重要性和创新性，清华大学黄高博士第一作者发表的。现其重要性，博主人读完这文章后，自然感叹我们国内也是人才辈出，清华大学确实是国内人工智能的顶尖。废话不多说开始分享算法。DenseNet论文算法解释网络上有很多关于这篇论文的解读，博主读了几个，解释的明白清楚的还是下面链接中解释的明白，既有解释又有代码还有论文链接，有想法的可以看看原文，博主在此不再赘述。
转载
2024-04-24 21:57:16
66阅读
1、FIFO深度计算例如（对于同步fifo，每100个cycle可以写入80个数据，每10个cycle可以读出8个数据，fifo的深度至少为？ ） 参考网址：首先要确实FIFO的应用场景 并且最终要保证在最极端的情况下，仍不是发生溢出以及空数据的情况。如果数据是连续的数据流，那在频率不同的异步FIFO中，当写入频率大于读出频率时，FIFO必定是溢出的。因此这个时候需要确定数据的传输的突发性的，也就
转载
2024-02-23 09:59:51
95阅读
目前本人使用过的深度学习框架有4个：按照使用先后顺序：caffe，tensorflow，keras，pytorch。从2个方面说一下体验：1）安装体验：caffe： 安装及其繁琐，并且网上诸多教程都是瞎写或者转载，没有实际安装过。这里有一篇ubuntu14.04安装caffe的比较好的教程：tensorflow：安装教程，较caffe来说简单许多。附安装教程：keras：安装教程，本人是在tf环境
算法的复杂度算法复杂度分为：时间复杂度和空间复杂度。时间复杂度：度量算法执行的时间长短。空间复杂度：度量算法所需存储空间的大小。度量一个算法执行时间的方法有两种：事后统计法：执行完之后统计时间。局限性非常大，例如，如果算法执行的时间很长，就会浪费时间，同时算法执行的时间的长短也会受电脑硬件的影响。事前估计的方法：通过分析某个算法的时间复杂度来判断哪个算法更优。在给出间复杂度的概念之前先来看看什么是
# PyTorch计算模型FLOPs
在深度学习中，FLOPs（Floating Point Operations per Second）是衡量模型计算复杂度的一种指标。它表示在每秒内执行的浮点数操作的数量。在PyTorch中，我们可以使用torchsummary库来计算模型的FLOPs。本文将为你介绍如何使用PyTorch和torchsummary来计算模型的FLOPs。
## 什么是FLO
原创
2024-01-25 07:55:28
843阅读
stackoverflow热门问题目录如有翻译问题欢迎评论指出，谢谢。2022/12/21更新：感谢BirB先生的修正，已修正错误的翻译。距离写这篇过去十个月了，我介绍下我新的理解： 如果一个方法仅在训练时启用，那就 if self.training:来执行，比如 dropout，通过在训练时随机屏蔽若干个节点来提高鲁棒性（dropout 不用额外判断 training，它自己有设置）。 如果在输
本篇博客中我们将学习如何使用KenLM工具构建统计语言模型，并使用它完成一个典型的'智能纠错'文本任务。目录1.实验准备2.训练数据3.训练语言模型4.模型压缩5.模型加载6.智能纠错1.实验准备安装依赖# 安装依赖
!apt install libboost-all-dev
!apt install libbz2-dev
!apt install libeigen3-dev下载KenLM并编译#
转载
2024-01-30 12:10:10
26阅读
一、访问模型参数： import torch
from torch import nn
from torch.nn import init
net = nn.Sequential(nn.Linear(4, 3), nn.ReLU(), nn.Linear(3, 1)) # pytorch已进行默认初始化 上一节说了，Sequential类继承自Module类，对于Sequential实例中含
转载
2023-07-28 21:01:18
351阅读
from thop import profileimport torchif __name__ == '__main_
原创
2022-06-27 17:27:38
952阅读
深度优先搜索和广度优先搜索，都是图形搜索算法，它两相似，又却不同，在应用上也被用到不同的地方。这里拿一起讨论，方便比较。一、深度优先搜索 深度优先搜索属于图算法的一种，是一个针对图和树的遍历算法，英文缩写为DFS即Depth First Search。深度优先搜索是图论中的经典算法，利用深度优先搜索算法可以产生目标图的相应拓扑排序
转载
2024-08-09 11:46:26
70阅读
我们知道，算法是作用于具体数据结构之上的，深度优先搜索算法和广度优先搜索算法都是基于“图”这种数据结构的。这是因为，图这种数据结构的表达能力很强，大部分涉及搜索的场景都可以抽象成“图”。我们上一节讲过，图有两种主要存储方法，邻接表和邻接矩阵。需要说明一下，深度优先搜索算法和广度优先搜索算法，既可以用在无向图，也可以用在有向图上。1、广度优先搜索（BFS）广度优先搜索（Breadth-First-S
转载
2024-05-15 10:44:50
59阅读
目录1 神经网络的搭建2 神经网络中神经结构的使用3 神经网络当中的一些基本结构3.1 卷积层3.2 池化层3.3 非线性激活3.4 线性层4 神经网络小实战 1 神经网络的搭建如图一所示，在PyTorch的官网中我们可以看到Docs下面对PyTorch分了不同的块，比如：PyTorch是关于PyTorch的一些官方文档、torchaudio是处理语音的、torchtext是处理文本的、torc
## 深度学习模型如何计算模型的FPS
在深度学习的应用中，模型的实时性是一个非常重要的指标，尤其在图像处理、视频分析或者实时监控等领域。FPS（每秒帧数）是衡量模型及时性的重要指标，它计算的是模型每秒钟能够处理的帧数。本文将介绍如何计算深度学习模型的 FPS，并以图像分类任务为例实现该功能。
### FPS的基本概念
FPS，或每秒帧数（Frames Per Second），表示单位时间内
。文章目录：目录1 模型构建函数1.1 add_module1.2 ModuleList1.3 Sequential1.4 小总结2 遍历模型结构2.1 modules()2.2 named_modules()2.3 parameters()3 保存与载入本文是对一些函数的学习。函数主要包括下面四个方便：模型构建的函数：add_module,add_module,add_module
访问子模块：
转载
2023-09-17 11:11:11
200阅读
# 深度学习计算模型体积的科普
深度学习是近年来人工智能和机器学习领域中的一个热门领域，它通过神经网络对数据进行处理，具有出色的学习和泛化能力。然而，在实际应用中，计算模型的体积也成为了一个不可忽视的重要因素。本文将探讨深度学习计算模型体积的概念，并通过代码示例加以说明，同时使用甘特图和类图进行可视化展示。
## 什么是计算模型体积？
计算模型体积通常指的是深度学习模型的参数量和存储需求。一
原创
2024-09-28 03:35:25
222阅读
近些年，随着深度学习理论，GPU 和 CPU 等计算机硬件，TensorFlow、Caffe、PyTorch 等算法平台的发展，深度学习算法在个性化推荐、计算机视觉、自然语言处理、语音识别等领域大放光彩。本文从神经网络结构的角度梳理深度推荐算法的发展，把近几年业界主流的算法归纳为四个阶段的网络结构：Embedding+MLP 的网络结构，基于特征组合的网络结构，基于用户行为序列的网络结构和融入知识
转载
2023-12-26 22:18:56
35阅读
递归形式递归形式是算法中常用到的一种构造思路。递归允许函数或过程对自身进行调用，是对算法中重复过程的高度概括，从本质层面进行刻画，避免算法书写中过多的嵌套循环和分支语法。因此，是对算法结构很大的简化。递归形式实际可以看做一个函数表达式：f ( n ) = G ( f ( g ( n ) ) ) f(n)=G(f(g(n)))f(n)=G(f(g(n)))，即f ( n ) f(n)f(n)可以通过
转载
2024-10-23 18:51:30
72阅读
目录深度模型中的优化优化算法1、梯度下降类方法2、动量3、自适应学习率算法4、二阶近似方法 深度模型中的优化用于深度模型训练的优化算法与传统的优化算法有几个方面有所不同：学习纯优化间接优化目标函数，以降低泛化误差（通常目标函数不可解，或者是NP难问题）直接最小化目标函数本身训练算法通常不会停止在局部极小点终止在导数较小的地方训练算法的目标函数通常可以分解为训练样本上的求和（批量算法和小批量算法）
转载
2024-05-16 05:37:58
113阅读
在ESFramework 4.0 进阶（09）－－ ESPlatform 支持的三种群集模型一文中，我们介绍了ESPlatform支持的三种群集模型 -- 垂直分割模型、水平分割模型、交叉模型。我们看到，在垂直分割模型和交叉模型中，每个客户端都要与多个应用服务器AS进行通信，这就要求客户端与多个AS中的每一个都建立一条通信通道，如此才能
