论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix

  知识图谱作为人工智能应用的重要资源,表示学习对知识图谱的完善和应用至关重要。先前提出的TransE、TransH、TransR模型对表示学习提升不少,表示学习对关系抽取、三元组分类以及链接预测等方面具有作用。TransD模型改进TransR,认为不同的实体应映射到不同的语义空间中,且减少了计算量。

一、简要信息

序号

属性


1

模型名称

TransD

2

所属领域

自然语言处理

3

研究内容

知识表示

4

核心内容

knowledge embedding

5

GitHub源码

​https://github.com/mrlyk423/relation_extraction​​​ 或 ​​https://github.com/thunlp/KB2E​

6

论文PDF

​https://www.aclweb.org/anthology/P15-1067.pdf​​)

二、摘要与引言

  知识图谱对于大量的人工智能应用来说是非常有用的资源,但是其距离完善还有一段距离。先前的工作例如TransE、TransH和TransR,认为头实体到尾实体可以被认为是一种翻译,且CTransR获得最优效果。本文,我们提出一个细粒度模型,叫TransD,且相比之前的模型有所提高。在TransD中,我们使用两个两个想来来表征两个实体(头实体和尾实体)。首先第一个向量表征实体关系,另一个被用来构建动态映射矩阵。相比TransR/CTransR模型,TransD不仅考虑到关系的多样性,也考虑到实体的多样性。TransD有较少的参数,且TransD参数较少,没有矩阵向量乘法运算,可以应用于大型图数据。实验中,我们在两个标准任务上评估了我们的模型。评估的结果表明我们的方法比最优模型更好。
  像WordNet、FreeBase、YaGo一样的知识图谱在许多AI应用,例如关系抽取、问答等。这些通常包含大量的结构化数据,形如论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_TransD论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_02 。TransR模型包含如下几个缺点:
(1)对于特定的关系 论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_TransD_03 ,所有实体共享同一个语义空间 论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_TransD_04 。因此实体需要映射到不同的语义空间中;
(2)实体和关系的投影操作是一个连续迭代的操作,仅依靠关系进行推理是不足的;
(3)矩阵向量带来大量的参数运算量。

三、相关工作与主要贡献

  相关工作部分由于和TransH文章一样,请直接阅读【​​TransH​​】的相关工作部分。

四、算法模型详解(TransD)

  本文提出一种全新的方法TransD来为图谱进行建模。如图所示


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_人工智能_05


我们定义了两个向量,第一个向量表征实体或关系的语义,另一个向量(投影向量)表示如何将实体从实体空间映射到关系空间中,因此每个实体对有唯一的矩阵。

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_三元组_06 分别是实体

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_07 的映射矩阵,

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_人工智能_08 及关系

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_09 为投影向量,

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_10 分别为头尾实体的投影向量。因此有:


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_11

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_12

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_知识表示_13

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_TransD_14

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_人工智能_15

  分析上式,实体投影矩阵主要与当前实体对中的关系和实体有关,相比TransR模型,每个实体所在的投影空间不相同。损失函数如下所示:

论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_三元组_16

  负采样的策略与TransH和TransR相同。

五、实验及分析

  数据集包括四个,分别如图所示:


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_17


实验包括两个部分:

(1) 三元组分类:任务给定三元组,判定当前三元组是否正确。实验结果如图所示:


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_人工智能_18


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_github_19


(2)链接预测:给定实体和关系,预测另一个实体。实验结果如图所示:


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_知识表示_20


论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix_TransD_21