文章目录零、前置知识一、LSTM目标二、LSTM的结构解析门结构的介绍遗忘门（forget gate）输入门（input gate）输出门（output gate）总结一下前馈结构流程三、LSTM变种四、解决问题的思路（从循环神经网络到LSTM）问题一：解决随时间的流动梯度发生的指数级消失或者爆炸的情况问题二：将信息装入长时记忆单元论乘法：论加法：问题三：频繁装填带来的问题问题四：网络如何输出，
转载
2024-10-25 15:02:11
50阅读
是否想过智能键盘上的预测键盘之类的工具如何工作？在本文中，探讨了使用先验信息生成文本的想法。具体来说，将使用Google Colab上的递归神经网络（RNN）和自然语言处理（NLP），从16世纪文献中产生文章。这个想法很简单，将尝试为模型提供莎士比亚剧本的样本，以产生所有假零件，同时保持相同的本地语言。虽然预测性键盘会为可能包含多个单词的不完整句子生成最佳的“单个单词”匹配，但通过使用单个单词生
转载
2023-08-16 20:23:53
94阅读
# 自然语言处理中的分词与RNN模型
自然语言处理（NLP）是机器学习的一个重要分支，致力于实现人与计算机之间的自然语言交流。在NLP的多个任务中，分词是处理文本的基础步骤之一，而循环神经网络（RNN）则是一种有效的模型，能够捕获文本数据中的上下文信息。本文将深入探讨分词的概念及其在RNN中的应用，并通过代码示例帮助读者理解。
## 什么是分词？
分词是自然语言处理中的一种技术，特别是在处理
原创
2024-10-23 06:26:30
48阅读
规则分词规则分词是一种机械分词方法，主要通过维护词典，在切分语句时将语句的每个字符串和词表中的词逐一匹配找到则切分，找不到则不切分。 具体包括正向最大匹配法、逆向最大匹配法和双向最大匹配法正向最大匹配算法描述①从左向右取待切分汉语句的m 个字符作为匹配字段， m 为机器词典中最长词条的 字符数。 ②查找机器词典并进行匹配。 若匹配成功， 则将这个匹配字段作为一个词切分出来。 若匹配不成功，则将这个
转载
2023-11-17 14:46:37
67阅读
cnn卷积神经网络的原理一个典型的卷积神经网络为：输入 -> 卷积 -> RelU -> 池化 -> RelU -> 卷积 -> … -> 池化 -> 全连接层 -> 输出对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。在通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。CNN不仅可以用于图像识
转载
2023-09-06 22:13:31
92阅读
# 使用 RNN 实现自然语言处理（NLP）
在自然语言处理中，循环神经网络（RNN）是一种常见的模型，特别适用于处理序列数据。对于刚入行的小白，以下是实现 NLP RNN 的流程和步骤。希望这能为你提供一个清晰的指引。
## 流程概述
下面我们使用一个流程图来展示实现 NLP RNN 的整体步骤：
```mermaid
flowchart TD
A[准备数据集] --> B[数据
文章目录一. 理论知识1.1 循环神经网络1.1.1 RNNRNN的前向传播RNN的反向传播不同类型的RNN1.1.2 GRUGRU的前向传播GRU的反向传播1.1.3 LSTMLSTM的前向传播LSTM的反向传播1.2 卷积神经网络自然语言处理中的卷积神经网络卷积层设计1.3 其他知识点1.3.1 词嵌入余弦相似度1.3.2 Dropout1.3.3 梯度裁剪二. 代码实现2.1 数据处理：2
import reader
import numpy as np
import tensorflow as tf
# 数据参数
DATA_PATH = 'simple-examples/data/' # 数据存放路径
VOCAB_SIZE = 10000 # 单词数量
# 神经网络参数
HIDDEN_SIZE = 200 # LSTM隐藏层规模
NUM_LAYERS = 2
转载
2023-12-06 20:41:45
47阅读
numpy手写NLP模型（四）———— RNN1. 模型介绍2. 模型2.1 模型的输入2.2 模型的前向传播2.3 模型的反向传播3. 模型的代码实现 1. 模型介绍首先介绍一下RNN，RNN全程为循环神经网络，主要用来解决一些序列化具有顺序的输入的问题。普通的前馈神经网络的输入单一决定输出，输出只由输入决定，比如一个单调函数的拟合，一个x决定一个y，前馈神经网络可以直接拟合出一条曲线并得到不
转载
2024-03-29 09:23:02
76阅读
从应用方面上来看，CNN用到做图像识别比较多，而RNN在做到语言处理多一点，如果拿来比喻的话，CNN如同眼睛一样，正是目前机器用来识别对象的图像处理器。相应地，RNN则是用于解析语言模式的数学引擎，就像耳朵和嘴巴。对于CNN神经网络，有一个基础的假设——人类的视觉总是会关注视线内特征最明显的点 RNN的假设——事物的发展是按照时间序列展开的，即前一刻发生的事物会对未来的事情的发展产生影响。CNN1
转载
2023-10-09 11:03:32
101阅读
前段时间一口气读完了 NN4NLP，很是畅快，非常喜欢作者行文讲解的口吻和逻辑。大概两周读完，每页都有收获，读完后反而担心有所疏漏，知识太多留不住，索性从头来一遍，把学习过程的知识点和思考记录下来，也算精简版供自己今后查阅。 感兴趣的，可以一起学习讨论，真的很推荐这本书。大致介绍下该书。NN4NLP 由 Goldberg 撰写，是 CMU CS11-747 课程的教材，配合公开课食用更佳，公开课
转载
2024-06-14 11:53:05
47阅读
传统的语言模型在预测序列中的下一个单词时只会考虑到前面的有限个单词，RNN与之不同，RNN网络会根据前面已经出现的所有输入来调整整个网络。下图是RNN网络的典型结构：Xt表示在t时刻的输入，ht表示t时刻的隐藏层状态，yt表示t时刻的输出。每一个隐藏层都有许多的神经元，这些神经元将上一层的输入做线性变换（矩阵乘法，也就是乘以权重），然后再使用非线性激活函数进行激活。t时刻的输入Xt和t-1时刻的隐
转载
2023-08-09 00:23:14
645阅读
自然语言处理早期标志性的特征提取工具-循环神经网络(RNN)
原创
2021-08-10 13:53:54
163阅读
从这篇文章开始，有三AI-NLP专栏就要进入深度学习了
原创
2022-10-12 21:19:08
171阅读
从这篇文章开始，有三AI-NLP专栏就要进入深度学习了。本文会介绍自然语言处理早期标志性的特征提取工具-循环神经网络(RNN)。首先，会介绍RNN提出的由来；然后，详细介绍RNN的模型结构，前向传播和反向传播的过程；最后，讨论RNN的特点及其优劣势。
完整的NLP深度学习介绍，应该从反向传播(BP)开始，进而介绍深度神经网络(DNN)，卷积神经网络(CNN)也是必不可少的内容。鉴于有三A
转载
2019-07-20 09:21:49
183阅读
最近学习和使用opencv读取和处理图像，然后用pytorch训练深度学习模型，部署和推理的时候用opencv+ncnn进行，过程中参考了很多网上教程和案例，结合源码发现了一个关于颜色空间的问题，很多网上资料的源码示例中并没有注意，自己也被误导了，特别记录一下，也供大家参考核心思想总结：当我们所有的彩色图像处理都打算采用RGB格式数据的时候，切记用opencv读取图像后要将图像从BGR转成RGB，
转载
2023-12-15 12:00:27
59阅读
的联合概率（Joint Probability）。
原创
2022-11-24 11:49:48
327阅读
文章目录1. RNN 简介2. RNN 详解2.1 RNN 的种类2.2 RNN 的结构2.3 RNN 的局限3. RNN 的 PyTorch 实现 1. RNN 简介 循环神经网络 (Recurrent Neural Network, RNN) 是一种特殊的神经网路，擅长处理时序数据。在传统网络模型中，网络层间是全连接的，网络层内部的节点是无连接的，这种结构导致网络根本无法处理时间序列数据。
转载
2023-08-29 20:59:29
107阅读
RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
RNN的应用领域有很多, 可以说只要考虑时间先后顺序的问题都可以使用RNN来解决.这里主要说一下几个常见的应用领域:自然语言处理(NLP): 主要有视频处
转载
2024-01-06 16:21:14
153阅读
视频链接：https://mofanpy.com/tutorials/machine-learning/nlp/gpt/学习原因：GPT比bert的学习效率高在莫烦代码中，bert是继承GPT的，学习GPT较快知识追踪领域中，使用前一题预测后一题，不能对后面的预测泄露信息，属于单向模型。那就开始我们的学习吧。模型Generative Pre-Training (GPT) 模型越来越大的好处很显而
转载
2024-05-18 10:17:55
110阅读
