论文翻译 作者:Bo-Hsiang Tseng, Jianpeng Cheng, Yimai Fang and David Vandyke
摘要:
自然语言理解 和 自然语言生成 是构建任务型对话系统的两个基础而相关的工作,但两者处理的过程相反。NLU将自然语言转化为形式化的表达,而NLG则做相反的转换。在这两项任务上,成功的关键都是平行的训练数据,但要获得大规模的数据的成本相当昂贵。
- 提出了使用共享的隐变量将 NLU 和 NLG 融合起来的生成模型。
- 探索自然语言以及形式化表达的空间,并通过隐空间增强信息共享并最终优化 NLU 和 NLG。
- 模型使用平面以及树结构的表示在两个对话数据集上取得了 SOTA 。
- 作者还表明,能够通过半监督的方式利用未标记的数据来提高模型的性能。
Introduction
作者认为之前的工作,大部分将NLU和NLG被拆成不同的问题进行研究,而研究两者之间的联系却很少。作者觉得,从本质上来说,可以将两者都看成是一个翻译问题:NLU将自然语言翻译成形式化的语言,而NLG则反过来。两种任务都需要大量的utterance(对话)及其表示才能成功,但这种数据因为注释的复杂性而变得很昂贵。 尽管可以很容易地获取自然语言或形式表示的未注释数据,但由于两种语言在不同的空间中的位置,如何利用它们仍不清楚(?没看懂什么意思)。
提出了一个生成模型JUG,使用共享的隐变量表示自然语言和形式化表示共享的意图,以此来结合NLU和NLG。作者旨在通过一个连续的隐变量来学习两个离散空间之间的关联,该变量有利于两个任务之间的信息共享。JUG可以使用半监督的方式训练,以此来探索无标签数据的信息。
作者在两个数据集上进行了实验,实验结果表明该模型的效果超过单独的 NLU/NLG 模型表现;并且可以通过未标注的数据进一步提升模型表现。
名词解释:
- SOTA model:State-Of-The-Art model,是指在该项研究任务中,对比该领域的其他模型,这个是目前最好/最先进的模型。
- SOTA result:State-Of-The-Art result,一般是说在该领域的研究任务中,此paper的结果对比已经存在的模型及实现结果,此Paper的模型具有最好的性能/结果。
- 自然语言理解(NLU):意图识别和实体提取,负责理解文本内容自然语言理解 – NLU
- 自然语言生成(NLG):负责根据信息生成文本内容NLP之NLG入门理解