提高文本生成的逻辑推理
作者：Wenhu Chen, Jianshu Chen, Yu Su, Zhiyu Chen and William Yang Wang

摘要

神经自然语言生成(NLG)模型近年来在流畅性和连贯性方面取得了显着进展。
问题
现有的神经网络神经节的研究主要集中在表层实现上，对逻辑推理的研究很少
解决对策
在本文中，我们提出了一个新的 NLG 任务，其中一个模型的任务是生成自然语言语句，这些语句可以由开放域半结构表中的事实在逻辑上蕴涵。
为了方便对所提出的逻辑 NLG 问题的研究：

  • 使用现有的具有广泛逻辑推理/符号推理的 TabFact 数据集作为我们的训练集
  • 提出了新的自动度量来评估生成模型w.r.t的保真度。

逻辑推理，由于序列顺序和逻辑顺序之间的不匹配，新的任务对现有的单调生成框架提出了挑战。
实验结果
在我们的实验中，我们综合考察了不同的生成结构(LSTM，Transformer，预训练 LM)在数据集上用不同的算法(RL，对抗训练，粗略到精细)进行训练，得出以下结论：

  1. 预训练 LM 可以显著提高流畅度和逻辑保真度
  2. RL 和对抗训练是以流畅度换取保真度的
  3. 粗细度生成可以在保持较高语言流畅度的同时帮助部分缓解保真度问题。

构建了一个新的数据集 LogicNLG，它需要在标准的文本生成方法的基础上使用额外的逻辑。例如，我们需要使用一些比较和计数操作来纳入「1 more gold medal」或「most gold medals」等部分，这些部分会使得生成的文本更加自然和生动。用于实验数据集的对比基线使用了预训练的 GPT-2 和 BERT，但似乎在这个任务上的语言模型仍然还有很大的提升空间。

参考文章

​​2020年，知识图谱都有哪些研究风向？​​