文章目录一. 理论知识1.1 循环神经网络1.1.1 RNNRNN的前向传播RNN的反向传播不同类型的RNN1.1.2 GRUGRU的前向传播GRU的反向传播1.1.3 LSTMLSTM的前向传播LSTM的反向传播1.2 卷积神经网络自然语言处理中的卷积神经网络卷积层设计1.3 其他知识点1.3.1 词嵌入余弦相似度1.3.2 Dropout1.3.3 梯度裁剪二. 代码实现2.1 数据处理：2
是否想过智能键盘上的预测键盘之类的工具如何工作？在本文中，探讨了使用先验信息生成文本的想法。具体来说，将使用Google Colab上的递归神经网络（RNN）和自然语言处理（NLP），从16世纪文献中产生文章。这个想法很简单，将尝试为模型提供莎士比亚剧本的样本，以产生所有假零件，同时保持相同的本地语言。虽然预测性键盘会为可能包含多个单词的不完整句子生成最佳的“单个单词”匹配，但通过使用单个单词生
转载
2023-08-16 20:23:53
94阅读
文章目录零、前置知识一、LSTM目标二、LSTM的结构解析门结构的介绍遗忘门（forget gate）输入门（input gate）输出门（output gate）总结一下前馈结构流程三、LSTM变种四、解决问题的思路（从循环神经网络到LSTM）问题一：解决随时间的流动梯度发生的指数级消失或者爆炸的情况问题二：将信息装入长时记忆单元论乘法：论加法：问题三：频繁装填带来的问题问题四：网络如何输出，
转载
2024-10-25 15:02:11
50阅读
# 自然语言处理中的分词与RNN模型
自然语言处理（NLP）是机器学习的一个重要分支，致力于实现人与计算机之间的自然语言交流。在NLP的多个任务中，分词是处理文本的基础步骤之一，而循环神经网络（RNN）则是一种有效的模型，能够捕获文本数据中的上下文信息。本文将深入探讨分词的概念及其在RNN中的应用，并通过代码示例帮助读者理解。
## 什么是分词？
分词是自然语言处理中的一种技术，特别是在处理
原创
2024-10-23 06:26:30
48阅读
之前写了一个贝叶斯分类的问题，这次使用LR实现一个分类问题（调库实现），首先就是收集数据，这次使用的是一个某简书大佬的一个小项目的数据集（也可以自己收集一个数据集，进行分类）步骤如下：数据预处理（此过程可以代码实现，也可以自己提前手动处理好，本次使用的数据集格式都和无效数据、乱码数据都清理掉了）->将数据拆分为训练集、测试集、预测集->将数据生成词频字典->提取特征，将文本特征进
转载
2024-01-15 20:00:06
70阅读
规则分词规则分词是一种机械分词方法，主要通过维护词典，在切分语句时将语句的每个字符串和词表中的词逐一匹配找到则切分，找不到则不切分。 具体包括正向最大匹配法、逆向最大匹配法和双向最大匹配法正向最大匹配算法描述①从左向右取待切分汉语句的m 个字符作为匹配字段， m 为机器词典中最长词条的 字符数。 ②查找机器词典并进行匹配。 若匹配成功， 则将这个匹配字段作为一个词切分出来。 若匹配不成功，则将这个
转载
2023-11-17 14:46:37
67阅读
cnn卷积神经网络的原理一个典型的卷积神经网络为：输入 -> 卷积 -> RelU -> 池化 -> RelU -> 卷积 -> … -> 池化 -> 全连接层 -> 输出对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。在通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。CNN不仅可以用于图像识
转载
2023-09-06 22:13:31
92阅读
# 使用 RNN 实现自然语言处理（NLP）
在自然语言处理中，循环神经网络（RNN）是一种常见的模型，特别适用于处理序列数据。对于刚入行的小白，以下是实现 NLP RNN 的流程和步骤。希望这能为你提供一个清晰的指引。
## 流程概述
下面我们使用一个流程图来展示实现 NLP RNN 的整体步骤：
```mermaid
flowchart TD
A[准备数据集] --> B[数据
import reader
import numpy as np
import tensorflow as tf
# 数据参数
DATA_PATH = 'simple-examples/data/' # 数据存放路径
VOCAB_SIZE = 10000 # 单词数量
# 神经网络参数
HIDDEN_SIZE = 200 # LSTM隐藏层规模
NUM_LAYERS = 2
转载
2023-12-06 20:41:45
47阅读
了解什么是RNN模型.了解RNN模型的作用.了解RNN模型的分类.
原创
精选
2023-06-07 09:48:52
1649阅读
在上一部分中，我们已经了解了神经网络语言模型和词向量：自然语言处理NLP（3）——神经网络语言模型、词向量 在对现阶段NLP领域的最基本、最常用的架构有所了解之后，在这一部分中，我们将要介绍NLP领域最常见的一类问题：序列标注。【一】序列标注在NLP领域中，有许多的任务可以转化为“将输入的语言序列转化为标注序列”来解决问题。比如，命名实体识别、词性标注等等。命名实体识别命名实体识别是NLP中的一个
转载
2023-08-21 09:48:23
183阅读
numpy手写NLP模型（四）———— RNN1. 模型介绍2. 模型2.1 模型的输入2.2 模型的前向传播2.3 模型的反向传播3. 模型的代码实现 1. 模型介绍首先介绍一下RNN，RNN全程为循环神经网络，主要用来解决一些序列化具有顺序的输入的问题。普通的前馈神经网络的输入单一决定输出，输出只由输入决定，比如一个单调函数的拟合，一个x决定一个y，前馈神经网络可以直接拟合出一条曲线并得到不
转载
2024-03-29 09:23:02
76阅读
从应用方面上来看，CNN用到做图像识别比较多，而RNN在做到语言处理多一点，如果拿来比喻的话，CNN如同眼睛一样，正是目前机器用来识别对象的图像处理器。相应地，RNN则是用于解析语言模式的数学引擎，就像耳朵和嘴巴。对于CNN神经网络，有一个基础的假设——人类的视觉总是会关注视线内特征最明显的点 RNN的假设——事物的发展是按照时间序列展开的，即前一刻发生的事物会对未来的事情的发展产生影响。CNN1
转载
2023-10-09 11:03:32
101阅读
一 序 本文属于贪心NLP学习笔记系列。本章开始学习非常重要的逻辑回归。二 逻辑回归2.1常用场景 逻辑回归非常广泛在分类场景。·贷款违约情况（会违约/不会违约） ·广告点击问题（会点击/不会点击） ·商品推荐（会购买/不会购买） ·情感分析（正面/负面） ·疾病诊断（阳性/阴性） ·还有其他很多分类问题……此外这个算法可以用来做baseline，很好，
转载
2023-12-14 12:06:35
64阅读
引言自然语言处理NLP（nature language processing），顾名思义，就是使用计算机对语言文字进行处理的相关技术以及应用。在对文本做数据分析时，我们一大半的时间都会花在文本预处理上，而中文和英文的预处理流程稍有不同，本文就对中、英文文本挖掘的常用的NLP的文本预处技术做一个总结。文章内容主要按下图流程讲解： 1.中英文文本预处理的特点中英文的文本预处理大
转载
2023-11-15 21:59:45
66阅读
前段时间一口气读完了 NN4NLP，很是畅快，非常喜欢作者行文讲解的口吻和逻辑。大概两周读完，每页都有收获，读完后反而担心有所疏漏，知识太多留不住，索性从头来一遍，把学习过程的知识点和思考记录下来，也算精简版供自己今后查阅。 感兴趣的，可以一起学习讨论，真的很推荐这本书。大致介绍下该书。NN4NLP 由 Goldberg 撰写，是 CMU CS11-747 课程的教材，配合公开课食用更佳，公开课
转载
2024-06-14 11:53:05
47阅读
GCN 的的兴起为许多NLP问题的解决提供了新的思路。通过句法依赖树构建图结构，基于此通过GCN进行NLP问题的解决已经得到了广泛应用。那么除此之外，还有哪些方法可以用于在文本中建立图结构从而使用GCN呢？小编整理了如下几篇，分别是通过TF-IDF， PMI、序列关系、词典 等信息进行构图的顶会论文，希望能够拓展对GCN的应用思路( ఠൠఠ )ﾉAAAI2019: Graph Convolutio
自然语言分类任务文本分类1. torchText2. Feed-Forward Neural Networks（前馈神经网络）FFN在很多TC（文本分类）任务中实现了高精确度。它把文本看做成一袋单词。每个单词都用word2vec或者Glove等嵌入模型表示成词向量，然后将词向量取和或者平均来代表文本，然后通过一层或多层的前馈神经网络（例如：MLPs），然后使用分类器（例：逻辑回归，朴素贝叶斯，或S
文章目录前言第一课 论文导读BLEU介绍BLEU实例BLEU改进机器翻译简介机器翻译相关方法前期知识储备第二课 论文精读论文整体框架传统/经典算法模型1.Encoder-Decoder(见导读)2.基于attention的机器翻译本文模型Tricks应用实验和结果数据集实验结果讨论和总结讨论总结（主要创新点）参考论文代码复现代码结构数据集数据处理模型构建训练和测试作业 前言本课程来自深度之眼de
背景介绍机器翻译是利用计算机将一种自然语言（源语言)转换为另一种自然语言（目标语言）的过程。本项目是机器翻译领域主流模型 Transformer 的 PaddlePaddle 实现，快来基于此项目搭建自己的翻译模型吧。Transformer 是论文《 Attention Is All You Need 》中提出的用以完成机器翻译（Machine Translation）等序列到序列（Seq2Seq
