论文解读:(TransD)Knowledge Graph Embedding via Dynamic Mapping Matrix
知识图谱作为人工智能应用的重要资源,表示学习对知识图谱的完善和应用至关重要。先前提出的TransE、TransH、TransR模型对表示学习提升不少,表示学习对关系抽取、三元组分类以及链接预测等方面具有作用。TransD模型改进TransR,认为不同的实体应映射到不同的语义空间中,且减少了计算量。
一、简要信息
序号 | 属性 | 值 |
1 | 模型名称 | TransD |
2 | 所属领域 | 自然语言处理 |
3 | 研究内容 | 知识表示 |
4 | 核心内容 | knowledge embedding |
5 | GitHub源码 | https://github.com/mrlyk423/relation_extraction 或 https://github.com/thunlp/KB2E |
6 | 论文PDF |
二、摘要与引言
知识图谱对于大量的人工智能应用来说是非常有用的资源,但是其距离完善还有一段距离。先前的工作例如TransE、TransH和TransR,认为头实体到尾实体可以被认为是一种翻译,且CTransR获得最优效果。本文,我们提出一个细粒度模型,叫TransD,且相比之前的模型有所提高。在TransD中,我们使用两个两个想来来表征两个实体(头实体和尾实体)。首先第一个向量表征实体关系,另一个被用来构建动态映射矩阵。相比TransR/CTransR模型,TransD不仅考虑到关系的多样性,也考虑到实体的多样性。TransD有较少的参数,且TransD参数较少,没有矩阵向量乘法运算,可以应用于大型图数据。实验中,我们在两个标准任务上评估了我们的模型。评估的结果表明我们的方法比最优模型更好。
像WordNet、FreeBase、YaGo一样的知识图谱在许多AI应用,例如关系抽取、问答等。这些通常包含大量的结构化数据,形如即 。TransR模型包含如下几个缺点:
(1)对于特定的关系 ,所有实体共享同一个语义空间 。因此实体需要映射到不同的语义空间中;
(2)实体和关系的投影操作是一个连续迭代的操作,仅依靠关系进行推理是不足的;
(3)矩阵向量带来大量的参数运算量。
三、相关工作与主要贡献
相关工作部分由于和TransH文章一样,请直接阅读【TransH】的相关工作部分。
四、算法模型详解(TransD)
本文提出一种全新的方法TransD来为图谱进行建模。如图所示
我们定义了两个向量,第一个向量表征实体或关系的语义,另一个向量(投影向量)表示如何将实体从实体空间映射到关系空间中,因此每个实体对有唯一的矩阵。
分别是实体
的映射矩阵,
及关系
为投影向量,
分别为头尾实体的投影向量。因此有:
分析上式,实体投影矩阵主要与当前实体对中的关系和实体有关,相比TransR模型,每个实体所在的投影空间不相同。损失函数如下所示:
负采样的策略与TransH和TransR相同。
五、实验及分析
数据集包括四个,分别如图所示:
实验包括两个部分:
(1) 三元组分类:任务给定三元组,判定当前三元组是否正确。实验结果如图所示:
(2)链接预测:给定实体和关系,预测另一个实体。实验结果如图所示: