什么是Seq2SeqSeq2Seq模型，全称Sequence to sequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。Encoder将一个序列编码为一个固定长度的语义向量，Decoder将该语义向量解码为另一个序列。输入序列和输出序列都可以是不定长序列。Seq2Seq可以用于机器翻译、文本摘要生成、对话生成等领域。Seq
昨天有位大神在上发表了一篇题为[BERT通俗笔记：从Word2Vec/Transformer逐步理解到BERT的文章，仔细阅读前两章后，可谓是受益匪浅。但是在研读时，由于自身对NLP相关知识有所缺乏，使我对一些基础概念不甚理解（尽管作者的描述已经特别简单易懂~）。其中**Attention**便是其中之一，在此之前，我一直以为在Seq2Seq之后便是Self-attention
原创
2023-04-10 15:52:02
371阅读
学习目标目标 掌握seq2seq模型特点 掌握集束搜索方式 掌握BLEU评估方法 掌握Attention机制
原创
2022-05-09 15:47:51
537阅读
Encoder-Decoder、Seq2Seq、Attention因为注意力不集中，所以这篇随笔就是看别人的文章，随手参考写写的。 1.Encoder-Decoder Encoder-Decoder模型并不特指某种具体算法，而是一种通用
转载
2021-10-11 14:44:17
1212阅读
from tensorflow.contrib.legacy_seq2seq.python.ops import seq2seq as seq2seq_lib # padding的是0 self.sequence_len = tf.reduce_sum(tf.sign(self.inputs), reduction_indices=1) ...
原创
2022-07-19 11:51:26
141阅读
五分钟看懂seq2seqattention模型。本文通过图片，详细地画出了seq2seq+attention模型的全部流程，帮助小伙伴们无痛理解机器翻译等任务的重要模型。seq2seq是一个Encoder–Decoder结构的网络，它的输入是一个序列，输出也是一个序列，Encoder中将一个可变长度的信号序列变为固定长度的向量表达，Decoder将这个固定长度的向量变成可变长度的目标的信号序列。-
原创
2020-11-22 20:18:56
2079阅读
结合注意力机制的seq2seq写在最前面Attention问题解决如何进行attentionattention_output代码结构模型结构定义model.pyEncoder函数Attention模块Decoder训练+验证 写在最前面代码参考： https://github.com/jasoncao11/nlp-notebook/tree/master/4-2.Seq2seq_Att 跪谢大佬
顾名思义，seq2seq 模型就像一个翻译模型，输入是一个序列（比如一个英文句子），输出也是一个序列（比如该
转载
2022-11-08 19:57:39
290阅读
一：RNN的种类结构RNN：每个神经元的输入包括两个方面，一个是前一个神经元的隐藏层状态 h (用于记忆，
原创
2022-12-14 16:25:30
158阅读
在https://github.com/tensorflow/models/blob/master/tutorials/rnn/translat
原创
2022-07-19 11:38:19
152阅读
# PyTorch Seq2Seq
在自然语言处理领域，序列到序列（Seq2Seq）模型是一种常见的模型，用于将一个序列转换为另一个序列。该模型在机器翻译、对话生成和文本摘要等任务中被广泛应用。PyTorch是一个流行的深度学习框架，提供了丰富的工具和库来构建和训练Seq2Seq模型。
## Seq2Seq模型概述
Seq2Seq模型由两个主要的部分组成：编码器（Encoder）和解码器（D
原创
2023-08-27 07:42:25
99阅读
## 深度学习 seq2seq 实现流程
### 引言
在深度学习领域，seq2seq（Sequence-to-Sequence）模型是一种非常重要的模型，在自然语言处理（NLP）任务中有着广泛的应用。它可以用于机器翻译、对话生成、文本摘要等任务。本文将会介绍如何使用深度学习实现一个基本的 seq2seq 模型。
### 整体流程
在实现 seq2seq 模型之前，我们需要了解整体的流程。下面
原创
2023-09-07 08:47:21
80阅读
2019-09-10 19:29:26 问题描述：什么是Seq2Seq模型？Seq2Seq模型在解码时有哪些常用办法？ 问题求解： Seq2Seq模型是将一个序列信号，通过编码解码生成一个新的序列信号，通常用于机器翻译、语音识别、自动对话等任务。在Seq2Seq模型提出之前，深度学习网络在图像分类等
转载
2019-09-10 19:46:00
431阅读
2评论
1.端到端模型 End to End，不需要做任何的特征工程手段，就可以学到比较好的模型，让模型自动学出这些特征 非端到端模型 端到端模型 可以看到端到端模型的好处，也是很多大部分深度学习模型的初衷，不需要通过任何特征工程的方式去学习一些特征，设计一些特征，而是通过深度学习模型的方式自动的从里面学出
转载
2021-02-21 11:25:00
505阅读
介绍在本文中，我们将分析一个经典的序列对序列(Seq2Seq)模型的结构，并演示使用注意解码器的优点。这两个概念将为理解本文提出的Transfo
阅读大概需要19分钟跟随小博主，每天进步一丢丢作者：谢铁公司：苏宁金融研究方向：智能
转载
2022-07-27 09:08:49
82阅读
理理思路文本处理，这里我是以eng_fra的文本为例，每行是english[tab]french，以tab键分割。获取文本，清洗。分别建立字典，一个english，一个french。根据字典写好seq2id的函数（文本序列->数字序列），并调用将文本序列化。初始化Encoder，Decoder模型；选择合适的优化器；设置lr，epochs等参数；开始循环迭代：1.因为文本太大，这里是随机选择
原创
2021-04-10 13:52:48
383阅读
一、摘要种类 抽取式摘要 抽取式摘要 直接从原文中抽取一些句子组成摘要。本质上就是个排序问题，给每个句子打分，将高分句子摘出来，再做一些去冗余（方法是MMR）等。这种方式应用最广泛，因为比较简单。经典方法有LexRank和整数线性规划（ILP）。 LexRank是将文档中的每个句子都看作节点，句子之
转载
2019-03-16 21:17:00
77阅读
