识图谱的技术架构知识图谱技术架构

转载

架构领航博主 2023-07-10 11:39:20

文章标签 识图谱的技术架构 other 数据结构化知识推理 文章分类 架构后端开发

知识图谱的构建技术主要有自顶向下和自底向上两种：

其中自顶向下构建是指借助百科类网站等结构化数据源，从高质量数据中提取本体和模式信息，加入到知识库里。
而自底向上构建，则是借助一定的技术手段，从公开采集的数据中提取出资源模式，选择其中置信度较高的信息，加入到知识库中。

在知识图谱技术发展初期，多数参与企业和科研机构主要采用自顶向下的方式构建基础知识库，如Freebase。随着自动知识抽取与加工技术的不断成熟，当前的知识图谱大多采用自底向上的方式构建，如Google的Knowledge Vault和微软的Satori知识库。

知识图谱的架构主要可以被分为：

逻辑架构
技术架构

逻辑架构

在逻辑上，我们通常将知识图谱划分为两个层次：数据层和模式层。

模式层：在数据层之上，是知识图谱的核心，存储经过提炼的知识，通常采用本体库来管理知识图谱的模式层，借助本体库对公理、规则和约束条件的支持能力来规范实体、关系以及实体的类型和属性等对象之间的联系（本体库可以理解为面向对象里的“类”这样一个概念，本体库就储存着知识图谱的类）。
数据层：存储真实的数据。知识以事实（fact）为单位存储在图数据库。

举例：

模式层：实体-关系-实体，实体-属性-值
数据层：比尔盖茨-妻子-梅琳达·盖茨，比尔盖茨-总裁-微软

技术架构

知识图谱的整体架构如图所示，其中黑虚线框内的部分为知识图谱的构建过程，同时也是知识图谱更新的过程。

构建知识图谱是一个迭代更新的过程，根据知识获取的逻辑，每一轮迭代包含三个阶段：

信息抽取：从各种类型的数据源中提取出实体、属性以及实体间的相互关系，在此基础上形成本体化的知识表达；
知识融合：在获得新知识之后，需要对其进行整合，以消除矛盾和歧义，比如某些实体可能有多种表达，某个特定称谓也许对应于多个不同的实体等；
知识加工：对于经过融合的新知识，需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分加入到知识库中，以确保知识库的质量，

数据采集

1、结构化数据：指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一列数据的属性是相同的。缺点：通过增加字段进行扩展，扩展性差
2、半结构化数据：半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，它也被称为自描述的结构。常见的半结构数据有XML和JSON。
3、非结构化数据：数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、各类报表、图像和音频/视频信息等等。

信息抽取

信息抽取（infromation extraction）是知识图谱构建的第1步，是一种自动化地从半结构化和无结构数据中抽取实体、关系以及实体属性等结构化信息的技术。涉及的关键技术包括：实体抽取、关系抽取和属性抽取。

实体抽取：也称为命名实体识别（named entity recognition，NER），是指从文本数据集中自动识别出命名实体。实体抽取的研究历史主要是从面向单一领域进行实体抽取，逐步跨步到面向开放域（open domain）的实体抽取。
关系抽取：经过实体抽取之后，得到的是一系列离散的命名实体，为了得到语义信息，还需要从相关语料中提取出实体之间的关联关系，通过关系将实体联系起来，才能够形成网状的知识结构。这就是关系抽取需要做的事。研究历史：

人工构造语法和语义规则（模式匹配）
统计机器学习方法
基于特征向量或核函数的有监督学习方法
研究重点转向半监督和无监督
开始研究面向开放域的信息抽取方法
将面向开放域的信息抽取方法和面向封闭领域的传统方法结合

属性抽取：属性抽取的目标是从不同信息源中采集特定实体的属性信息，如针对某个公众人物，可以从网络公开信息中得到其昵称、生日、国籍、教育背景等信息。研究历史：

将实体的属性视作实体与属性值之间的一种名词性关系，将属性抽取任务转化为关系抽取任务。
基于规则和启发式算法，抽取结构化数据
基于百科类网站的半结构化数据，通过自动抽取生成训练语料，用于训练实体属性标注模型，然后将其应用于对非结构化数据的实体属性抽取。
采用数据挖掘的方法直接从文本中挖掘实体属性和属性值之间的关系模式，据此实现对属性名和属性值在文本中的定位。

知识融合

通过信息抽取，我们就从原始的非结构化和半结构化数据中获取到了实体、关系以及实体的属性信息。如果我们将接下来的过程比喻成拼图的话，那么这些信息就是拼图碎片，散乱无章，甚至还有从其他拼图里跑来的碎片、本身就是用来干扰我们拼图的错误碎片。也就是说：

拼图碎片（信息）之间的关系是扁平化的，缺乏层次性和逻辑性；
拼图（知识）中还存在大量冗杂和错误的拼图碎片（信息）

那么如何解决这一问题，就是在知识融合这一步里我们需要做的了。知识融合包括2部分内容：

实体链接
知识合并

实体链接

实体链接（entity linking）是指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。
其基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。
研究历史：

仅关注如何将从文本中抽取到的实体链接到知识库中，忽视了位于同一文档的实体间存在的语义联系。
开始关注利用实体的共现关系，同时将多个实体链接到知识库中。即集成实体链接（collective entity linking）

实体链接的流程：实体消歧：是专门用于解决同名实体产生歧义问题的技术，通过实体消歧，就可以根据当前的语境，准确建立实体链接，实体消歧主要采用聚类法。其实也可以看做基于上下文的分类问题，类似于词性消歧和词义消歧。

从文本中通过实体抽取得到实体指称项；
进行实体消歧和共指消解，判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义；
在确认知识库中对应的正确实体对象之后，将该实体指称项链接到知识库中对应实体。

实体消岐（entity disambiguation）：是专门用于解决同名实体产生歧义问题的技术。例如“苹果”可以指水果，也可以指手机。通过实体消岐，就可以根据当前的语境，准确建立实体链接。实体消岐主要采用聚类法。聚类法消岐的常用方法有4种：1.空间向量模型（词袋模型）；2.语义模型；3.社会网络模型；4.百科知识模型
共指消解：主要用于解决多个指称对应同一实体对象的问题。在一次会话中，多个指称可能指向的是同一实体对象。利用共指消解技术，可以将这些指称项关联（合并）到正确的实体对象，由于该问题在信息检索和自然语言处理等领域具有特殊的重要性，吸引了大量的研究努力。共指消解还有一些其他的名字，比如对象对齐、实体匹配和实体同义。

知识合并

在前面的实体链接中，我们已经将实体链接到知识库中对应的正确实体对象那里去了，但需要注意的是，实体链接链接的是我们从半结构化数据和非结构化数据那里通过信息抽取提取出来的数据。那么除了半结构化数据和非结构化数据以外，我们还有个更方便的数据来源——结构化数据，如外部知识库和关系数据库。对于这部分结构化数据的处理，就是我们知识合并的内容啦。一般来说知识合并主要分为两种：

合并外部知识库：例如从百度百科，维基百科等进行知识合并。该过程主要处理2个层面的问题。一是数据层的融合，包括实体的指称、属性、关系以及所属类别等，主要问题是如何避免实例以及关系的冲突问题，造成冗余；二是通过模式层的融合，将新得到的本体融入已有的本题库中。
合并关系数据库：知识图谱构建过程中，一个重要的高质量知识来源是企业或者机构自己的关系数据库。为了将这些结构化的历史数据融入到知识图谱中，可以采用资源描述框架（RDF）作为数据模型。这一过程被称为RDB2RDF，实质就是将关系数据库的数据转换成RDF的三元组数据。

知识加工

在前面，我们已经通过信息抽取，从原始语料中提取出了实体、关系与属性等知识要素，并且经过知识融合，消除实体指称项与实体对象之间的歧义，得到一系列基本的事实表达。然而事实本身并不等于知识。要想最终获得结构化，网络化的知识体系，还需要经历知识加工的过程。

知识加工主要包括3方面内容：

本体构建
知识推理
质量评估

本体构建

本体（ontology）是对概念进行建模的规范，是描述客观世界的抽象模型，以形式化的方式对概念及其之间的联系给出明确定义。本体最大的特点在于它是共享的，本体反映的知识是一种明确定义的共识。如：“人”、“事”、“物”。

本体是同一领域内的不同主体之间进行交流的语义基础。本体是树状结构，相邻层次的节点（概念）之间有严格的『IsA』关系。在知识图谱中，本体位于模式层，用于描述概念层次体系，是知识库中知识的概念模板。

本体可以采用人工编辑的方式手动构建（借助本体编辑软件），也可以以数据驱动的自动化方式构建本体。因为人工方式工作量巨大，且很难找到符合要求的专家，因此当前主流的全局本体库产品，都是从一些面向特定领域的现有本体库出发，采用自动构建技术逐步扩展得到的。

自动化本体构建过程包含三个阶段：

实体并列关系相似度计算，适用于考察任意给定的两个实体在多大程度上属于同一概念分类的指标测度，相似度越高，表明这2个实体越有可能属于同一语义类别。所谓并列关系，是相对于纵向的概念隶属关系而言的；当前主流的实体并列关系相似度计算方法有两种：模式匹配法和分布相似度。其中，模式匹配法采用预先定义实体对模式的方法，通过模式匹配取得给定关键字组合在同一语料单位中共同出现的频率，据此计算实体对之间的相似度。分布相似度方法的前提假设是：在相似的上下文管径中频繁出现的实体之间具有语义上的相似性。
实体上下位关系抽取，是用于确定概念之间的隶属（IsA）关系，这种关系也称为上下位关系。实体上下位关系抽取是该领域的研究重点，主要的研究方法是基于语法模式（如Hearst模式）抽取IsA实体对。也有方法利用概率模型判定IsA关系和区分上下位词，通常会借助百科类网站提供的概念分类知识来帮助训练模型，以提高算法精度。
本体的生成，主要任务是对各层次得到的概念进行聚类，并对其进行语义类的标定，为该类的中的实体指定1个或多个公共上位词。

举例：

实体：百度、腾讯、阿里、无人车；当仅仅得到这四个实体时，四者并无任何区别，但进过计算四者之间的形似度后，发现：百度、阿里、腾讯，三者相似度较高，而他们与无人车差别较大；
第二步，相似度计算后，发现实体之间的相似度不同，但无上下位差异，所以需要上下位关系抽取后，生成本体，发现：百度、阿里、腾讯对应本体：公司，无人车对应本体：交通工具；他们不属于一类。

知识推理

在完成了本体构建这一步之后，一个知识图谱的雏形便已经搭建好了。但可能在这个时候，知识图谱之间大多数关系都是残缺的，缺失值非常严重。