本文从 RNN 的局限性开始，通过简单的概念与详细的运算过程描述 LSTM 的基本原理，随后再通过文本生成案例加强对这种 RNN 变体的理解。LSTM 是目前应用非常广泛的模型，我们使用 TensorFlow 或 PyTorch 等深度学习库调用它甚至都不需要了解它的运算过程，希望本文能为各位读者进行预习或复习 LSTM 提供一定的帮助。
序列预测问题已经存在很长时间了。它被认为是数据
转载
2024-05-22 13:02:07
21阅读
Bi-RNN把普通的RNN拆成两个方向，一个正向的，关联历史数据；一个逆向的，关联未来数据，这样对于同一时刻，可以使用输入的历史数据和未来数据。两个方向的RNN有各自的state，相互之间没有直接连接，只是在最后的两份输出一起连接到Bi-RNN的输出节点上。 针对序列的后向传播叫做BPTT，BPTT在双向RNN中无法同时更新状态和输出。 正向的state传播，从时间步1->T，反向从T-
转载
2024-03-04 07:06:48
102阅读
基于统计的nlp模型在自然语言处理领域中扮演着重要的角色。这些模型通过分析大量文本数据，从中学习语言规律，进而用于文本分类、情感分析、实体识别等任务。在本文中，我们将介绍一个简单的基于统计的nlp模型，并通过Python代码示例展示其实现过程。
## 统计的nlp模型
基于统计的nlp模型通常使用概率统计方法，通过计算词频、词组频率等来建模语言规律。其中，一种常见的模型是n-gram模型，它基
原创
2024-04-14 06:01:09
129阅读
基于规则的 NLP 模型是处理自然语言中的一种重要技术，通过定义一系列语法和语义规则，可以实现对特定领域和任务的文本分析。接下来，我们将详细说明如何解决基于规则的 NLP 模型问题的整个过程，包括环境预检、部署架构、安装过程、依赖管理、配置调优和迁移指南。
首先进行环境预检，确保我们的开发与运行环境兼容。这可以通过四象限图进行可视化，展示不同环境下的兼容性分析。
```mermaid
quad
LSTM，目前为止，NLP领域应用最广的特征抽取器。
原创
2021-08-10 13:34:04
296阅读
本篇介绍在NLP中应用最为广泛的特征抽取模型LSTM。详细介绍LSTM提出的由来及其模型结构，并由此分析了LSTM能够解决RNN不能够对长序列进行处理和训练的原因。
上周介绍了RNN模型结构及其反向传播和正向传播机制。文末提到了RNN会出现梯度消失等问题，使得训练变得困难，但因为篇幅限制，没有介绍其具体的原因，后面小Dream哥在有三AI-NLP知识星球里详细介绍了这一方面的内容，感兴趣
转载
2021-07-02 16:03:54
267阅读
本篇介绍在NLP中应用最为广泛的特征抽取模型LSTM。详细介绍LSTM提出的由来及其模型
原创
2022-10-12 15:37:56
143阅读
本篇介绍在NLP中应用最为广泛的特征抽取模型LSTM。详细介绍LSTM提出的由来及其模型结构，并由此分析了LSTM能够解决RNN不能够对长序列进行处理和训练的原因。
作者 | 小Dream哥
编辑 | 言有三
上周介绍了RNN模型结构及其反向传播和正向传播机制。文末提到了RNN会出现梯度消失等问题，使得训练变得困难，但因为篇幅限制，没有介绍其具体的原因，后面小Dream哥在有三AI-NLP知识星
转载
2019-07-18 08:34:19
124阅读
文章目录一. 从RNN到Transformer二. 解析Transformer2.1 Transformer结构2.2 Attention2.2.1 self-attention是什么2.2.2 Multi-head Attention2.3 Position-wise Feed Forward Network2.4 Layer Normalization2.5 Decoder2.5.1 Enc
转载
2024-01-13 21:38:20
37阅读
编译：张驰、毅航、Conrad、龙心尘 编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并
目录：RNN的长期依赖问题LSTM原理讲解双向LSTM原理讲解keras实现LSTM和双向LSTMRNN 的长期依赖问题在上篇文章中介绍的循环神经网络RNN在训练的过程中会有长期依赖的问题，这是由于RNN模型在训练时会遇到梯度消失(大部分情况)或者梯度爆炸(很少，但对优化过程影响很大)的问题。对于梯度爆炸是很好解决的，可以使用梯度修剪(Gradient Clipping)，即当梯度向量大于某个阈值
文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”这两个词，就属于
转载
2023-12-06 21:22:45
86阅读
文章目录1. RNN2. LSTM2.1 简介2.2 细胞状态2.3 遗忘门2.4 输入门2.5 输出门3. 双向LSTM（Bi-directional LSTM）4. keras 实现4.1 LSTM模型4.2 Bi-LSTM模型4.3 训练模型4.4 预测 1. RNN循环神经网络（Recurrent Neural Network，RNN）是一种处理序列数据的网络。 其中xt为t时刻的输入，
深度学习技术发展到今天，在图像、语音、自然语言处理（natural language processing，NLP）领域有很多的应用。由于人类语言的多样性、多意性，使得NLP的难度成倍增加。例如由相同的三个字形成的组合“不怕辣”、“辣不怕”、“怕不辣”、“怕辣不”表达了不同的含义。有些话还要结合当时的语境进行理解，否则得到的结果谬之千里，比如：“中国乒乓球谁也打不过”、“中国足球谁也打不过”。本文
转载
2024-01-17 09:14:03
255阅读
先附上张玉腾大佬的内容，我觉得说的非常明白，原文阅读链接我放在下面，方面大家查看。LSTM的输入与输出：output保存了最后一层，每个time step的输出h，如果是双向LSTM，每个time step的输出h = [h正向, h逆向] (同一个time step的正向和逆向的h连接起来)。h_n保存了每一层，最后一个time step的输出h，如果是双向LSTM，单独保存前向和后向的最后一个
转载
2024-06-24 18:30:35
607阅读
基于规则的方法
这些方法成功关键取决于将陈述句转换到疑问句的规则设计得是否足够好，而转化规则通常需要设计者具有深层的语言知识。为了改进纯基于规则的系统，2010 年，Heilman 等人引入了一种冗余问题生成和排序的方法，该方法使用基于规则的方法从输入语句生成多个问题，然后使用监督学习的方法，利用术语抽取以及浅层语义分析对它们进行排序，仅仅保留排名靠前的问题，由此生成的问题相较于
转载
2023-11-13 15:45:11
115阅读
#异常检测——基于统计学的方法 最近在学习异常检测，datawhale的资料很不错，保存一波主要内容包括：高斯分布箱线图HBOS 文章目录1、概述2、参数方法3、非参数方法4、基于角度的方法5、HBOS5、总结参考资料 1、概述统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是
转载
2023-08-22 20:20:59
35阅读
【自然语言处理（NLP）】基于LSTM的谣言检测，基于百度飞桨开发，参考于《自然语言处理实践》所作。
推荐
原创
2022-10-06 22:02:13
804阅读
点赞
文章目录前言前期工作1. 设置GPU（如果使用的是CPU可以忽略这步）我的环境：2. 导入数据3.归一化4.调整图片格式5. 可视化二、构建CNN网络模型三、编译模型四、训练模型五、预测六、模型评估 前言往期精彩内容：卷积神经网络（CNN）实现mnist手写数字识别 卷积神经网络（CNN）多种图片分类的实现卷积神经网络（CNN）衣服图像分类的实现卷积神经网络（CNN）鲜花识别卷积神经网络（CNN
转载
2024-10-16 12:16:04
1000阅读
RNN的核心思想： 对RNN输入数据xt
x
t
，然后通过网络计算并得到输出结果ht
h
t
，再将某些信息（state，状态）传到网络的输入。 LSTM可以存储状态，并
原创
2022-10-13 09:44:51
40阅读
