文章目录1 为什么引入RNN？2 LSTM 长短期记忆3 Transformer3.1 编码器和解码器Transformer结构3.2 layernorm & batchnorm3.3 注意力3.4 position encoding位置编码4 Transformer VS CNN4.1 CNN的优缺点4.2 Tranformer的优缺点4.3 Tranformer vs CNN 1 为
一般来说，全连接层和卷积层已经可以处理大部分的情况了，而RNN的出现，主要是针对两个问题，第一，处理变长的输入，第二，分析序列的顺序信息。虽然目前我们可以通过空间金字塔池化搭配卷积网络实现不定长度序列的处理分析，可是池化操作会丢失输入的顺序信息，所以RNN还是有他的作用的，而且他的结构是如此的简单和巧妙，所以这次我就想先回顾一下RNN，然后详细探讨一下它的长期依赖问题，最后再分析LSTM到底为什么
转载
2024-04-02 11:00:56
69阅读
深度学习模型凭借其强大的表达能力和灵活的网络结构在诸多领域取得了重大突破，如何将深度学习应用到业务场景中，实现用户专属定制，达到精准营销的目的，量化团队进行了一系列学习和探索。基于两方面业务动机尝试构建某一品类购买用户预测模型：一方面，了解该类用品购买人群特征，挖掘潜在用户可能购买的商品，定向营销，实现用户专属定制，提高用户点击率和购买量，同时挖掘用户潜在喜好商品，增强用户体验。另一
转载
2024-02-27 21:09:54
42阅读
目录一、数据集二、数据预处理三、CNN模型构建四、预测一、数据集分为两个excel， 分别含有积极和消极的文本，链接。完整代码最下方。链接:https://pan.baidu.com/s/1IvqNIL-YHUjTlJRc-Asv9w?pwd=5e94 提取码:5e94二、数据预处理1.jieba分词#合并语料
data_sum = pd.concat([word_pos,word_n
转载
2024-03-19 10:24:56
74阅读
看图说话是深度学习波及的领域之一。其基本思想是利用卷积神经网络来做图像的特征提取，利用LSTM来生成描述。但这算是深度学习中热门的两大模型为数不多的联合应用了。本文是参考文献[1]的笔记，论文是比较早的论文，15年就已经发表了，不新。但还是想写下来它的细节以备后用。关于CNN(卷积神经网络)和LSTM(长短期记忆网络)的细节，本文不再赘述其细节。读者们需要了解的是：卷积神经网络是一种特别有效的提取
转载
2024-02-04 03:25:17
83阅读
目录第1章 RNN的缺陷1.1 RNN的前向过程1.2 RNN反向求梯度过程1.3 梯度爆炸（每天进一步一点点，N天后，你就会腾飞）1.4 梯度弥散/消失（每天堕落一点点，N天后，你就彻底完蛋）1.5 RNN网络梯度消失的原因1.6 解决“梯度消失“的方法主要有：1.7 RNN网络的功能缺陷第2章 LSTM长短期记忆网络2.1 LSTM概
转载
2024-03-23 11:43:36
25阅读
本篇写LSTM的输入输出。一、输入格式首先粘贴官方文档：h和c的解释看下面，直接来看输入Input。其格式为（seq_len，batch，input_size），输入为一个三维向量，第一维表示序列长度，即按时间序列展开有多少个可见的cell，等价于time_step；第二维表示数据批次的多少batch，即数据分为几批送进来；第三维input_size，表示每个time_step代表输入x的特征维数
转载
2024-01-03 06:45:03
681阅读
论文复现：结合 CNN 和 LSTM 的滚动轴承剩余使用寿命预测方法一、简介针对滚动轴承存在性能退化渐变故障和突发故障两种模式下的剩余使用寿命（remaining useful life，简称RUL）预测困难的问题，提出一种结合卷积神经网络（convolution neural networks，简称CNN）和长短时记忆（long short term memory，简称 LSTM）神经网络的滚动
转载
2024-07-31 20:57:14
50阅读
LSTM+CNN是一种常用的文本分类模型，它结合了LSTM和CNN两种神经网络模型的优点，可以有效地提取文本的特征，并对其进行分类。LSTM（Long Short-Term Memory）模型是一种能够捕捉序列信息的递归神经网络模型，其能够有效地解决传统RNN模型在处理长序列时遇到的梯度消失问题。CNN（Convolutional Neural Network）模型是一种能够捕捉局部特征的卷积神经
转载
2023-10-08 07:51:56
1505阅读
点赞
将CNN与LSTM结合起来可以用于处理序列数据中的空间和时序信息。下面是一种可能的方法：数据准备：首先，准备输入数据。通常情况下，序列数据可以表示为三维的张量，其中第一维表示样本数，第二维表示时间步，第三维表示特征数。CNN特征提取：将序列数据作为输入，通过一层或多层卷积层进行特征提取。卷积层可以提取输入数据的空间特征，例如边缘、纹理等。池化层：在卷积层之后添加池化层，以降低特征图的维度，并保留重
转载
2023-11-24 06:26:45
266阅读
“LSTM 能解决梯度消失/梯度爆炸”是对 LSTM 的经典误解。1、首先需要明确的是，RNN 中的梯度消失/梯度爆炸和普通的 MLP 或者深层 CNN 中梯度消失/梯度爆炸的含义不一样。MLP/CNN 中不同的层有不同的参数，各是各的梯度；而 RNN 中同样的权重在各个时间步共享，最终的梯度 g = 各个时间步的梯度 g_t 的和。2、由 1 中所述的原因，RNN 中总的梯度是不会消失的。即便梯
转载
2024-05-14 14:00:20
75阅读
概述NSGA2是一种基于非支配排序的遗传算法，可用于求解多目标优化问题[1]。在NSGA2中，种群初始化后， 基于非支配排序方法，种群中的个体被分成多个前沿组。第一个前沿组中的个体是完全非支配个体，它们的rank值被赋为1。第二个前沿组中个体受第一个前沿组中的个体支配，它们的rank值被赋为2。其余前沿组中个体依次类推 。NSGA2引入拥挤距离（crowding distance）作为评判个体与相
Bi-LSTM（attention）代码解析——基于Pytorch以下为基于双向LSTM的的attention代码，采用pytorch编辑，接下来结合pytorch的语法和Attention的原理，对attention的代码进行介绍和解析。import torch
import numpy as np
import torch.nn as nn
import torch.optim as opti
转载
2023-09-05 22:18:59
293阅读
文章目录1.传统RNN的缺点和lstm的提出2.lstm的结构2.1总体结构差异2.2遗忘门2.3输入门2.4输出门3.代码演示4.参考资料 1.传统RNN的缺点和lstm的提出以图像识别为例，图像识别存在退化问题。退化:当网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，而且这个退化不是由过拟合引起的。 神经网络隐藏层数过多后效果变差，重要因素是出现梯度消失或爆炸，即反向链式传播累乘导致参数
转载
2024-04-30 18:13:42
50阅读
LSTM简介 LSTM(Long Short Term Memory)是在标准RNN基础上改进而来的一种网络结构，其出现的主要作用是为了解决标准RNN训练过程中的梯度消失问题，LSTM的结构如下图所示。因此其可以处理时间间隔和延迟较长的序列问题，近年来在语音识别，机器翻译，OCR等领域得到了广泛的应用并取得了比较可观的效果。 相比于标准RNN模型，LSTM主要是增加了三个控制门单元：遗忘门，输入
转载
2024-04-24 15:26:14
358阅读
一、前言本篇论文主要是改进LatticeLSTM的两个缺点：1、基于LSTM的模型，不能并行处理，效率低；2、LatticeLSTM不能解决词汇冲突问题，比如下面句子中的“长”，根据前面的“广州市”很容易判断为O，然而整体观察后发现正确是B-GPE对应的改进方案是：1、使用CNN来替换LSTM来实现并行化；2、使用rethinking机制，通过高层特征的语义来优化词向量权重二、LR-CNN模型下面
转载
2024-04-01 12:02:34
276阅读
目录1 RNN2 编程实验 1 RNN上节课我们利用词嵌入把句子转化为词向量序列的详细过程，但忽略了语言数据在时间上的关联性，这节课来让我们的神经网络具有处理这种关联的能力我们不考虑预处理这一过程，假设都已经处理成了合适的300维词向量，现在我们开始改造一下神经网络的工作模式：我们将每次的输出值保存起来，与下一个词向量一起作为下一次的输入，直到得到最后的预测输出。这样一个句子的每个词对最后预测输
转载
2024-03-26 11:22:15
99阅读
学习参考：Tensorflow实战Google深度学习框架 1 循环神经网络简介循环神经网络(RNN)在挖掘数据中的时序信息以及语义信息的深度表达能力很强，在语音识别、语言模型、机器翻译以及时序分析等方面应用广泛。在全链接神经网络或者卷积神经网络中，网络结构都是从输入层到隐含层再到输出层，层与层之间是全链接或者部分链接的，但每层之间的节点是无链接的。RNN的来源就是为了刻画一个序列当前的
转载
2024-05-19 12:05:58
216阅读
作者：Zhonghui You还记得在理解 LSTM 的时候，我们会发现，它用一种门控机制记住重要的信息而遗忘不重要的信息。在此之后，很多机器学习方法都受到了门控机制的影响，包括 Highway Network 和 GRU 等等。北大的研究者同样也是，它们将门控机制加入到 CNN 剪枝中，让模型自己决定哪些滤波器不太重要，那么它们就可以删除了。其实对滤波器进行剪枝是一种最为有效的、用于加速和压缩卷
转载
2024-04-16 10:02:59
163阅读
推荐一个能发表高质量论文的好方向：LSTM结合CNN。LSTM擅长捕捉序列数据中的长期依赖关系，而CNN则擅长提取图像数据的局部特征。通过结合两者的优势，我们可以让模型同时考虑到数据的时序信息和空间信息，减少参数降低过拟合风险，从而提供更精确的预测、更出色的性能以及更高的训练效率。因此，LSTM结合CNN也是深度学习的一个热门研究方向，在学术界与工业界都有广泛应用。比如在股票预测中，这类结合模型不
