学习率调整策略——六种
原创
2021-08-02 13:48:33
253阅读
什么是Seq2SeqSeq2Seq模型，全称Sequence to sequence，由Encoder和Decoder两个部分组成，每部分都是一个RNNCell（RNN、LSTM、GRU等）结构。Encoder将一个序列编码为一个固定长度的语义向量，Decoder将该语义向量解码为另一个序列。输入序列和输出序列都可以是不定长序列。Seq2Seq可以用于机器翻译、文本摘要生成、对话生成等领域。Seq
# PyTorch Seq2Seq
在自然语言处理领域，序列到序列（Seq2Seq）模型是一种常见的模型，用于将一个序列转换为另一个序列。该模型在机器翻译、对话生成和文本摘要等任务中被广泛应用。PyTorch是一个流行的深度学习框架，提供了丰富的工具和库来构建和训练Seq2Seq模型。
## Seq2Seq模型概述
Seq2Seq模型由两个主要的部分组成：编码器（Encoder）和解码器（D
原创
2023-08-27 07:42:25
99阅读
顾名思义，seq2seq 模型就像一个翻译模型，输入是一个序列（比如一个英文句子），输出也是一个序列（比如该
转载
2022-11-08 19:57:39
290阅读
一：RNN的种类结构RNN：每个神经元的输入包括两个方面，一个是前一个神经元的隐藏层状态 h (用于记忆，
原创
2022-12-14 16:25:30
158阅读
在https://github.com/tensorflow/models/blob/master/tutorials/rnn/translat
原创
2022-07-19 11:38:19
152阅读
2019-09-10 19:29:26 问题描述：什么是Seq2Seq模型？Seq2Seq模型在解码时有哪些常用办法？ 问题求解： Seq2Seq模型是将一个序列信号，通过编码解码生成一个新的序列信号，通常用于机器翻译、语音识别、自动对话等任务。在Seq2Seq模型提出之前，深度学习网络在图像分类等
转载
2019-09-10 19:46:00
431阅读
2评论
## 深度学习 seq2seq 实现流程
### 引言
在深度学习领域，seq2seq（Sequence-to-Sequence）模型是一种非常重要的模型，在自然语言处理（NLP）任务中有着广泛的应用。它可以用于机器翻译、对话生成、文本摘要等任务。本文将会介绍如何使用深度学习实现一个基本的 seq2seq 模型。
### 整体流程
在实现 seq2seq 模型之前，我们需要了解整体的流程。下面
原创
2023-09-07 08:47:21
80阅读
训练阶段输入 encoder_input decoder_input decoder_target 其中decoder_target是decoder_input的shift一位（如图） 预测阶段输入 encoder_input decoder_input：前一decoder的step的预测结果就会作为下一step的输入，只用输入一个<GO>（如图）
原创
2022-07-19 11:43:23
91阅读
介绍在本文中，我们将分析一个经典的序列对序列(Seq2Seq)模型的结构，并演示使用注意解码器的优点。这两个概念将为理解本文提出的Transfo
# PyTorch Seq2Seq代码实例
序列到序列（Seq2Seq）模型是自然语言处理（NLP）领域中的一种重要工具，广泛应用于机器翻译、对话系统等任务。Seq2Seq模型由编码器和解码器组成，编码器将输入序列转换为一个固定长度的上下文向量，而解码器则根据上下文向量生成输出序列。本文将利用PyTorch实现一个简单的Seq2Seq模型，同时展示其基本结构和功能。
## Seq2Seq模型架
在文章《玩转Keras之seq2seq自动生成标题》中我们已经基本探讨过seq2seq，并且给出了参考的Keras实现。 本文则将这个seq2seq再往前推一步，引入双向的解码机制，它在一定程度上能提高生成文本的质量（尤其是生成较长文本时）。本文所介绍的双向解码机制参考自《Synchronous B
原创
精选
2021-11-08 17:50:27
2083阅读
学习目标目标 掌握seq2seq模型特点 掌握集束搜索方式 掌握BLEU评估方法 掌握Attention机制
原创
2022-05-09 15:47:51
537阅读
简介机器翻译、人机对话、聊天机器人（如小冰、小爱、小艺。。。）等等对话生成场景人物，这些都是应用在当今社会都或多或少的运用到了我们这里所说的Seq2Seq。Seq2Seq模型是输出的长度不确定时采用的模型。seq2seq属于encoder-decoder结构的一种。本质上就是两个RNN模型的合作，一个作为编码器、一个作为解码器。这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英
原创
2022-07-06 08:16:32
198阅读
昨天有位大神在上发表了一篇题为[BERT通俗笔记：从Word2Vec/Transformer逐步理解到BERT的文章，仔细阅读前两章后，可谓是受益匪浅。但是在研读时，由于自身对NLP相关知识有所缺乏，使我对一些基础概念不甚理解（尽管作者的描述已经特别简单易懂~）。其中**Attention**便是其中之一，在此之前，我一直以为在Seq2Seq之后便是Self-attention
原创
2023-04-10 15:52:02
371阅读
seq2seq模型详解2017年12月25日 09:41:04 标签：
seq2seq /
自然语言 /机器人 在李纪为博士的毕业论文中提到，基于生成的闲聊机器人中，seq2seq是一种很常见的技术。例如，在法语-英语翻译中，预测的当前英语单词不仅取决于所有前面的已翻译的英语单词，还取决于原始的法语输入;另一个例子，对话中当前的
原创
2023-08-03 22:24:01
68阅读
©作者 | 王佳安跨语言摘要（Cross-Lingual Summarization）旨在为一种语言的文档生成另一种语言的摘要。目前已有的跨语言摘要研究主要关注在新闻报道 [1,2]，生活指南 [3] 以及百科文章 [4] 上，缺乏针对于对话文档的研究。不同于其他文档，对话文档记录了由多名参与者所提供的结构化对话信息，有着信息分散、话题转移频率高等特点。为了推进针对于
这里有一个很好的专栏：https://www.dazhuanlan.com/2020/03/30/5e81581e3c05a/
原创
2021-06-29 10:25:50
4018阅读
1. 线性模型线性回归，逻辑回归，softmax都是属于线性模型，通过线性的前向传播和反向传播所得到的权重来对数据进行分类和回归。2. 及其学习简单的回归术语及数学2.1 有监督学习: 有标签和数据分类：标签是离散值(带类别的)回归: 标签是连续值2.2 无监督学习没有标签的学习2.3 术语: 真实值，预测值，误差，最优解，整体误差Actual Value: 真实值，一般使用y表示predicte
序列到序列模型(seq2seq)1. 什么是seq2seq 在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如： 英语输⼊：“They”、“are”、“watching”、“.” 法语输出：“Ils”、“regardent”、“.” 当输⼊和输出都是不定⻓序列时，我们可以使⽤编码器—解码器（
转载
2021-04-07 09:35:50
1810阅读
2评论
