Tesla M40 12G GPU显卡用什么服务器 tesla m40 24g评测

转载

daleiwang 2024-06-17 20:36:50

文章标签 github 数据生成式 文章分类 架构后端开发

google nmt 实验踩坑记录

最近因为要做一个title压缩的任务，所以调研了一些text summary的方法。

text summary 一般分为抽取式和生成式两种。前者一般是从原始的文本中抽取出重要的word or sentence,然后按照一定的语法或者句法进行组合，从而对原始的文本进行压缩。再文本摘要的早期，基本都是这个思路，代表性的方法是textrank。所谓生成式的方法，就是试图让机器理解原始的文本，从而自己归纳出原始文本的摘要,给出的结果(词语或者句子)可能是原始文本中没有出现过的,这也是其与抽取式的方法最大的不同之处。

随着最近几年深度学习的大行其道，生成式的方法的研究也逐渐多了起来。其实最主流的思路就是使用基于深度学习的seq2seq框架。说起seq2seq就不得不提著名的nmt(nerual machine translation,神经机器翻译),其基本也是基于seq2seq框架的，一般分为encoder和decoder,最近几年流行在基本的seq2seq框架上加上attention机制(注意力机制),一般可以显著提高translation的质量。

废话了这么多，本文是对于google nmt 官方github repo 实验的一个踩坑记录。基本不做理论方面的讨论，主要讨论记录一些实验结果。

1. google nmt 官方 github 地址:nmt

2. clone repo to local,这个按照教程做就可以了，不表。

3. first experiment

教程中给出的第一个实例是越南语到英语的翻译(Vietnamese to English),
具体如何下载数据,训练(train)以及在测试集上推断(infer)的脚本github上面都说的很清楚了，不表。
注意第一个实验只是作为一个demo，其训练数据只有13w+,这个对于大规模的机器翻译真的可以说是very small
了。
数据的准备一般有以下部分:

source language & target language,格式是每行一句话,source & target两个文件每行是一一对应的,
还有就是需要source & target 的vocabulary(词汇表),其中包括了该种语言尽可能多的词汇,每行一个word(还
包括特殊的开始,结束token,unknow token)
数据集分为三个部分，训练集,验证集,测试集,特别地,.vi结尾的是越南语文件,.en结尾的是英语文件

作者进行了普通的nmt 以及加入了attention 机制的nmt两组实验
我使用了公司四核(4*24G) RAM 的 Tesla M40 显卡进行train & infer(使用 nvidia-smi 查看nvidia 显卡信息)
实验结果表明在训练数据较少的情况下,使用attention 的nmt 的翻译质量还是比不加attention的翻译强不少的，这个结果是
通过将二者的翻译结果分别于参考翻译进行粗略得到的，当然使用定量的bleu指标也可以得到一样的结论,加入attention的nmt bleu
score 要比普通的nmt 高不少。具体结果见下图1,2:

图1:普通nmt翻译结果(右)与参考翻译(左)

图2:nmt with attention 翻译结果(右)与参考翻译(左)

直观看上去，确实是attention nmt 的翻译质量更胜一筹。

2. second experiment

教程中给出的第二个实验是德语到英语的翻译(WMT German-English)
这个部分的训练数据就比较大了,400w+行，教程中提供了train 和 infer 两个脚本，
在下载完数据之后，我又下载了几个pretrained de-en(德语到英语) model,但是发现
infer总是会报错如下：

FailedPreconditionError (see above for traceback): 
Attempting to use uninitialized value dynamic_seq2seq/decoder/multi_rnn_cell/cell_1/basic_lstm_cell/kernel
	 [[Node: dynamic_seq2seq/decoder/multi_rnn_cell/cell_1/basic_lstm_cell/kernel/read = Identity[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"]
	 (dynamic_seq2seq/decoder/multi_rnn_cell/cell_1/basic_lstm_cell/kernel)]]