循环神经网络（RNN）我们每时每刻的思想，我们的语言并不是片面孤立的，也就是我们此刻的想法其实是跟前面的有联系，我们句子里面的当前的词语实际上是与前面出现过的词是保持着联系的。举个最通俗的例子，我们都做过英语的完形填空，知道第三人称单数的名字后面的动词要加‘s’，这就是一个语境的问题，动词的形式跟前面的有关。循环神经网络就是这样一个用途：它把“读”过的文字记下来，比如它读到了“Peter”
一、理论知识Seq2Seq模型的基本思想：使用一个循环神经网络读取输入句子，将这个句子的信息压缩到一个固定维度的编码中；再使用另一个循环神经网络读取这个编码，将其“解压”为目标语言的一个句子。这两个循环神经网络分别称为编码器（Encoder）和解码器（Decoder），所以也称为 encoder-decoder 模型。解码器部分的结构与语言模型几乎完全相同：输入为单词的词向量，输出为softmax
转载
2024-01-21 09:21:53
155阅读
课程内容概述重要概念和公式回顾机器翻译机器翻译任务中的一些新颖的RNN模型
GRU（Gated Recurrent Units）LSTM（Long Short-Term Memories）内容回顾下图是之前的课程所提到过的一些模型的损失函数。 多层神经网络的前向传播和反向传播过程。 RNN、交叉熵误差、批梯度下降机器翻译早期的机器翻译使用的都是基于规则的方法。后来在上世纪90年代开始，机器翻
转载
2024-06-05 12:13:31
104阅读
No.1机器翻译概述机器翻译就是将一种语言翻译为另一种语言。所有机器翻译系统本质上都是基于统计的，我们将总尝试使用非常大的语料库，一般称为平行语料库。在语料库中，有许多句子或段落以不同语言表述。No.2深度学习出现之前的机器翻译模型一、模型概述1.源语言f:法语2.目标语言e：英语3.模型的概率规则基于贝叶斯公式，普通的贝叶斯公式如下： 而模型中的规则对贝叶斯公式进行了修改，去掉了右侧的分母部
转载
2024-06-04 05:53:16
75阅读
语言模型是自然语言处理的关键， 而机器翻译是语言模型最成功的基准测试。 因为机器翻译正是将输入序列转换成输出序列的 序列转换模型（sequence transduction）的核心问题。 序列转换模型在各类现代人工智能应用中发挥着至关重要的作用， 因此我们将其做为本章剩余部分和 第10章的重点。 为此，本节将介绍机器翻译问题及其后文需要使用的数据集。机器翻译（machine translation
transformer是一种不同于RNN的架构，模型同样包含 encoder 和 decoder ，但是encoder 和 decoder 抛弃 了RNN，而使用各种前馈层堆叠在一起。Encoder： 编码器是由N个完全一样的层堆叠起来的，每层又包括两个子层(sub-layer)，第一个子层是multi-head self-attention mechanism
转载
2024-05-22 19:09:39
130阅读
本文主要介绍了用 pytorch 实现Seq2Seq with attention 机器翻译任务，基于我之前写的 pytorch 实现简单的 Seq2Seq 机器翻译任务 。算法理论可以阅读论文“NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE”，也可以参考 我写的论文笔记 。i
转载
2023-12-12 15:31:09
113阅读
一、简介RNN的经典的用例之一就是将文本从一种语言翻译成另一种语言。 过去，这是使用手工制作的功能以及许多复杂的条件来完成的，这些条件花费很长时间才能创建并且理解起来很复杂。 因此，让我们看看RNN如何使生活更轻松，做得更好。二、RNN机器翻译简单模型（编码器-解码器模型） 最简单的想法是使用基本的RNN，如下图所示。 在此图中，展开了RNN，以便更轻松地了解正在发生的事情。这种类型的RNN是对R
转载
2024-10-25 15:00:38
54阅读
自然语言处理入门
（一）从序列到序列的翻译任务'''
https://github.com/bentrevett/pytorch-seq2seq/blob/master/1%20-%20Sequence%20to%20Sequence%20Learning%20with%20Neural%20Networks.ipynb
'''
#coding=gbk
import torch
import to
转载
2024-05-22 16:05:49
58阅读
引言：这是一个教程，目的是对机器翻译的基础知识和建模方法进行较为系统的介绍，并在此基础上对机器翻译的一些前沿技术展开讨论（前身为《机器翻译：统计建模与深度学习方法》）。其内容被编纂成书，可以供计算机、人工智能相关专业高年级本科生及研究生学习之用，亦可作为自然语言处理，特别是机器翻译相关研究人员的参考资料。本书用tex编写，所有源代码均已开放。本书共分为四个部分，每部分由若干章节组成，章节的顺序参考
转载
2024-04-18 10:09:26
103阅读
深度学习入门（六十三）循环神经网络——机器翻译数据集前言循环神经网络——机器翻译数据集教材1 下载和预处理数据集2 词元化3 词表4 加载数据集5 训练模型6 小结 前言核心内容来自博客链接1博客连接2希望大家多多支持作者 本文记录用，防止遗忘循环神经网络——机器翻译数据集教材语言模型是自然语言处理的关键， 而机器翻译是语言模型最成功的基准测试。 因为机器翻译正是将输入序列转换成输出序列的 序列
什么是机器翻译？一直以来，人类从Babel塔的传说开始，就透露出对无障碍语言交流的渴望和梦想。而这一梦想，在上世纪八十年代才开始逐步实现，伴随着科技的大发展，尤其是计算机技术的迅速发展而逐步得以实现。而一直以来，机器翻译的低准确率，也是困扰研究人员的最大问题。而这一问题，近年，随着人工智能的大发展，人工神经网络系统的研究对机器翻译的质量的提升起到了至关重要的作用。神经网络翻译方法 ，就是借助人工神
转载
2024-04-30 12:01:55
20阅读
前言本篇博文是笔者学习自然语言处理课程的笔记，首发于公众号NLP学习者机器翻译模型首先简单回顾一下之前说的机器翻译模型，一般的机器翻译模型都由encoder与一个decoder组成，模型图如下：注意力模型Attention如果考虑普通的encoder-decoder模型，我们将会遇到这样的问题，即decoder只接受encoder的最后一个输出作为decoder的输入，所以我们需要在整个解码过程中
转载
2024-05-09 18:46:22
145阅读
机器翻译1.定义将一段文本从一种语言自动翻译为另一种语言， 用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。2.code 实现## 机器翻译定义
"""
主要是将一段文本从一种语言自动翻译成另外一种语言
输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同
"""
import os
os.li
转载
2024-03-26 14:31:19
169阅读
1.机器翻译概述： 使用计算机将一种自然语言转换成另一种自然语言的过程,机器翻译试图利用计算机来模拟人的翻译能力，因此他也成为人工智能的一个重要分支[1]。 2.机器翻译发展历史 开创期：（1947-1964） 1954年美国乔治敦大学与IBM公司合作，首次完成了英俄机器翻译，展示了机器翻译的可行性，拉开了机器翻译发展的序幕，随后多个国家开始对机器翻译的研究。[2] 低潮期：（1964-1975）
转载
2024-03-24 09:19:00
83阅读
1、语言模型（language model）与翻译模型（translate model）经常接触两个名词，语言模型（LM）和翻译模型（TM），这一概念最早是从统计机器翻译中来的，统计机器翻译的首要任务是为语言的产生构造某种合理的统计模型，并在此统计模型基础上，定义要估计的模型参数，并设计参数估计算法。早期的基于词的统计机器翻译采用的是噪声信道模型（生成式模型），采用最大似然准则进行无监督训练，而近
转载
2024-03-09 20:35:57
221阅读
最新研究进展：关于机器翻译领域，这4个要点不得不关注
作者 | FLIPPED 1、导读 机器翻译是关于如何使用计算机将一种语言翻译成另一种语言的研究。 在方法论上，机器翻译的方法主要分为两类：基于规则的方法和基于语料库的方法。基于规则的机器翻译 (RBMT) 方法使用双语词典和手动编写的规则将源语言文本
转载
2024-01-10 16:46:16
105阅读
机器翻译的产生与发展
机器翻译 (machine translation, MT) 是用计算机把一种语言(源语言, source language) 翻译成另一种语言(目标语言, target language) 的一门学科和技术。 机器翻译的困难如下：
自然语言中普遍存在的歧义和未知现象
机器翻译不仅仅是字符串的转换
机器翻译的解不唯一，而且
转载
2024-04-03 00:05:32
120阅读
机器翻译的研究和任务处理过程不仅涉及自然语言处理的诸多经典任务，包括数据挖掘、数据清洗、分词、词性标注、句法分析、语义分析等，而且还涉及解码算法、优化算法、建模及训练过程中各种机器学习算法的应用等。有三项重要的工作极大的推动了统计机器翻译的发展：对数-线性模型、参数最小错误训练方法、BLEU评测指标（2002）。自动评测指标BLEU的提出不仅避免了人工评价成本昂贵的弊端，而且可以直接成为模型优化的
转载
2024-02-13 19:22:14
72阅读
1，概述 机器翻译中常用的自动评价指标是 $BLEU$ 算法，除了在机器翻译中的应用，在其他的 $seq2seq$ 任务中也会使用，例如对话系统。 2 $BLEU$算法详解 假定人工给出的译文为$reference$，机器翻译的译文为$candidate$。 1）最早的$BLEU$算法 最早的$BLEU$算法是直接统计$cadinate$中的单词有多少个出现在$referen
转载
2023-08-08 08:04:26
323阅读
