目录机器翻译概念机器翻译技术的发展基于规则的方法基于统计的方法基于神经网络的方法机器翻译的应用机器翻译概念即通过计算机将一种语言的文本翻译成另一种语言,以解决语言屏障的问题的一种方法。机器翻译技术的发展机器翻译的研究经历了以下三个阶段的发展。基于规则的方法出现在机器翻译早期研究,主要是根据语言专家编写的翻译规则进行翻译,是一个机械式的过程,受限于人工编写规则的质量和数量,费时且不容易在不同语言间转
转载
2024-04-22 12:47:17
31阅读
机器翻译及相关技术机器翻译(MT)是将一种语言转换成另一种语言,语言之间表达一个含义用的词汇量是不同的,之前讲到的RNN、LSTM、GRU【人工智能学习】【十一】循环神经网络进阶里的输出要么是多对多、要么多对一。参考【人工智能学习】【六】循环神经网络里的图。比如翻译“我我是中国人”——>“I am Chinese”,就会把5个字符翻译成3个词,这种前后不等长的问题是机器翻译要解决的问题。下面
转载
2024-05-12 13:00:43
68阅读
文章目录1 机器翻译及相关技术1.1 机器翻译基本原理1.2 Encoder-Decoder1.3 Sequence to Sequence模型1.4 Beam Search2 注意力机制与Seq2seq模型2.1 注意力机制2.2 注意力机制的计算函数介绍2.3 引入注意力机制的Seq2seq模型3 Transformer3.1 Transformer结构概念3.2 Transformer结构
转载
2024-02-27 10:49:48
51阅读
1.机器翻译概述: 使用计算机将一种自然语言转换成另一种自然语言的过程,机器翻译试图利用计算机来模拟人的翻译能力,因此他也成为人工智能的一个重要分支[1]。 2.机器翻译发展历史 开创期:(1947-1964) 1954年美国乔治敦大学与IBM公司合作,首次完成了英俄机器翻译,展示了机器翻译的可行性,拉开了机器翻译发展的序幕,随后多个国家开始对机器翻译的研究。[2] 低潮期:(1964-1975)
转载
2024-03-24 09:19:00
83阅读
前言本篇博文是笔者学习自然语言处理课程的笔记,首发于公众号NLP学习者机器翻译模型首先简单回顾一下之前说的机器翻译模型,一般的机器翻译模型都由encoder与一个decoder组成,模型图如下:注意力模型Attention如果考虑普通的encoder-decoder模型,我们将会遇到这样的问题,即decoder只接受encoder的最后一个输出作为decoder的输入,所以我们需要在整个解码过程中
转载
2024-05-09 18:46:22
145阅读
机器翻译1.定义将一段文本从一种语言自动翻译为另一种语言, 用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。2.code 实现## 机器翻译定义
"""
主要是将一段文本从一种语言自动翻译成另外一种语言
输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同
"""
import os
os.li
转载
2024-03-26 14:31:19
169阅读
机器翻译机器翻译, 将一段文本从一种语言自动翻译为另一种语言。其 输出为单词序列。处理步骤数据预处理分词建立词典输入模型Encodr-DecoderSequence to Sequence注意力机制看作适合处理由一个句子(或篇章)生成另外一个句子(或篇章)的通用处理模型。对于句子对<X,Y>。 --------(思考:<X,Y>对很通用,X是一个问句,Y是答案;X是一个句子
转载
2024-04-24 14:47:11
89阅读
1、语言模型(language model)与翻译模型(translate model)经常接触两个名词,语言模型(LM)和翻译模型(TM),这一概念最早是从统计机器翻译中来的,统计机器翻译的首要任务是为语言的产生构造某种合理的统计模型,并在此统计模型基础上,定义要估计的模型参数,并设计参数估计算法。早期的基于词的统计机器翻译采用的是噪声信道模型(生成式模型),采用最大似然准则进行无监督训练,而近
转载
2024-03-09 20:35:57
221阅读
1,概述 机器翻译中常用的自动评价指标是 $BLEU$ 算法,除了在机器翻译中的应用,在其他的 $seq2seq$ 任务中也会使用,例如对话系统。 2 $BLEU$算法详解 假定人工给出的译文为$reference$,机器翻译的译文为$candidate$。 1)最早的$BLEU$算法 最早的$BLEU$算法是直接统计$cadinate$中的单词有多少个出现在$referen
转载
2023-08-08 08:04:26
323阅读
机器翻译的研究是理论方法和工程技术并举的。要建立一个机器翻译系统,首先需要确立语言分析和生成的基本观点,选择适用的语法理论,设计系统的运行机制,组织析句时需要的各种参数,还要针对所有这些考虑提出在计算机上实现的算法,并设计程序,调试通过。这个过程几乎涉及了计算语言学和自然语言处理的各个重要领域。我国机器翻译的研究从一开始就面对印欧语言和汉语的巨大差异,所以
转载
2024-04-30 06:31:04
77阅读
机器翻译的产生与发展
机器翻译 (machine translation, MT) 是用计算机把一种语言(源语言, source language) 翻译成另一种语言(目标语言, target language) 的一门学科和技术。 机器翻译的困难如下:
自然语言中普遍存在的歧义和未知现象
机器翻译不仅仅是字符串的转换
机器翻译的解不唯一,而且
转载
2024-04-03 00:05:32
120阅读
机器翻译的研究和任务处理过程不仅涉及自然语言处理的诸多经典任务,包括数据挖掘、数据清洗、分词、词性标注、句法分析、语义分析等,而且还涉及解码算法、优化算法、建模及训练过程中各种机器学习算法的应用等。有三项重要的工作极大的推动了统计机器翻译的发展:对数-线性模型、参数最小错误训练方法、BLEU评测指标(2002)。自动评测指标BLEU的提出不仅避免了人工评价成本昂贵的弊端,而且可以直接成为模型优化的
转载
2024-02-13 19:22:14
72阅读
不久前,一个实时翻译视频风靡网络,视频中两名分别说着英语和西班牙语的人借助Skype软件的实时翻译功能竟然实现了无障碍交流。这种之前只在科幻片中存在的场景如今已成现实,而这一切都得益于机器翻译技术。那么什么是机器翻译呢?机器翻译(machine translation),又称为自动翻译,是利用计算机把一种自然语言转变为另一种自然语言的过程。机器翻译的实现方法随着科技和社会经济的快速发展,全世界的互
转载
2024-07-21 20:46:25
45阅读
基于seq2seq的机器翻译
机器翻译是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。
这里,我们将根据源语言输入,自动输出目标语言译文。这是一个典型的序列到序列(sequence2sequence, seq2seq)建模的场景,编码器-解码器(Encoder-Decoder)框架是解决seq2seq问题的经典方法,它能够将一个任意长度的源序列转换成另一个任意长度的目
转载
2024-03-28 16:49:38
95阅读
今天,你AI了没?正文共:2497字 7图预计阅读时间: 7分钟近年来,机器翻译等语言智能技术迅猛发展,语言智能技术落地、机器翻译替代人工、外语教育存废、外语教学改革等,成为社会热议话题。外语教育如何将语言智能的挑战作为转型的契机更好发展?怎样理性认识语言智能技术的发展未来?聚焦"语言智能与外语教育协同发展",自动化所宗成庆研究员这样说...... 如何突破语言障碍,让机器完
注意力评分函数1. 注意力评分权重在上篇博客注意力机制中,使用高斯核来对查询和键之间的关系建模,将Nadaraya-Watson-Gaussian中的高斯核指数部分视为注意力评分函数(attention scoring function), 简称评分函数(scoring function),, 然后把这个函数的输出结果输入到softmax函数中进行运算,得到权重。通过上述步骤,我们将得到与键对应的
什么是机器翻译?一直以来,人类从Babel塔的传说开始,就透露出对无障碍语言交流的渴望和梦想。而这一梦想,在上世纪八十年代才开始逐步实现,伴随着科技的大发展,尤其是计算机技术的迅速发展而逐步得以实现。而一直以来,机器翻译的低准确率,也是困扰研究人员的最大问题。而这一问题,近年,随着人工智能的大发展,人工神经网络系统的研究对机器翻译的质量的提升起到了至关重要的作用。神经网络翻译方法 ,就是借助人工神
转载
2024-04-30 12:01:55
20阅读
一、机器翻译机器翻译采用的是seq2seq的模型机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。数据预处理 ---> 分词 ---> 建立词典 --->&
转载
2024-06-04 10:12:46
101阅读
一、理论知识Seq2Seq模型的基本思想:使用一个循环神经网络读取输入句子,将这个句子的信息压缩到一个固定维度的编码中;再使用另一个循环神经网络读取这个编码,将其“解压”为目标语言的一个句子。这两个循环神经网络分别称为编码器(Encoder)和解码器(Decoder),所以也称为 encoder-decoder 模型。解码器部分的结构与语言模型几乎完全相同:输入为单词的词向量,输出为softmax
转载
2024-01-21 09:21:53
155阅读
关于翻译类app很多,那么在众多的翻译类app中,哪些可以值得一试,通过组员们以下分析,你讲知道一二。 组员A谷歌翻译:它的工作原理Google 翻译生成译文时,会在数百万篇文档中查找各种模式,以便为您决定最佳翻译。Google 翻译通过在经过人工翻译的文档中检测各种模式,进行合理的猜测,然后得出适当的翻译。这种在大量文本中查找各种范例的过程称为“统计机器翻译”。由于译文是由机器生成的,
转载
2024-05-13 17:17:51
109阅读