摘要

   本文提出了一种多模态方法来联合预测产品属性，并借助产品图像从文本产品描述中提取值。我们认为产品属性和价值是高度相关的。在给定产品属性的情况下，提取值会更容易。因此，我们从多个方面联合建模属性预测和值提取任务，以实现属性和值之间的交互。此外，对于不同的产品属性和价值观，产品形象对我们的任务有不同的影响。因此，我们有选择地从产品图像中提取有用的视觉信息来增强我们的模型。我们注释了一个包含87194个实例的多模态产品属性值数据集，该数据集上的实验结果表明，显式建模属性和值之间的关系有助于我们的方法建立它们之间的对应关系，有选择地利用视觉产品信息是完成这项任务的必要条件。我们的代码和数据集可在https://github. com/jd-aig/JAVE。