图是一种对一组对象(节点)及其关系(边)进行建模的数据结构。近年来,利用机器学习分析图的研究越来越受到重视,因为图具有很强的表现力,即图可以作为社会科学(社会网络)和自然科学等多个领域中大量系统的表示,例如蛋白质-蛋白质相互作用网络(protein-protein interaction networks)、知识图谱等。作为一种独特的非欧几里德(non-Euclidean)机器学习数据结构,图在节点分类、链接预测和聚类(node classification, link prediction, and clustering)等方面引起了人们的关注。图神经网络(Graph Neural Networks, GNNs)是一种基于深度学习的图域上运行的方法。GNN以较高的性能和较高的可解释性,近年来得到了广泛的应用。GNN的主要动机有以下两种。

动机

卷积神经网络CNN

GNNs是由LeCun等人提出的卷积神经网络(CNNs)启发而提出来的。CNNs具有提取和合成多尺度局部空间特征的能力,具有很强的表征能力,几乎在所有的机器学习领域都取得了突破性进展,并引发了深度学习的革命。CNN的关键:局部连接共享权重深层网络的使用。

这些特点对于解决图域问题也非常重要,因为

  1. 图是最典型的局部连通结构
  2. 与传统的谱图论相比,共享权值降低了计算量[Chung and Graham,1997]
  3. 多层结构是处理层次模式的关键,它捕获了不同的特征。

但是,CNNs只能对图像(2D网格)文本(1D序列)等规则的欧氏数据进行操作,这些数据也可以看作是图形的特例。因此,很容易想到联想到从CNN到图上GNN的推广。

图池化 图神经网络 图神经网络 nlp_GNN

网络嵌入 NETWORK EMBEDDING

GNN另一个动机来自图嵌入,它通过学习使用低维向量表示图节点、边或子图。在图分析graph analysis中,传统的机器学习方法通常依赖于人工设计的特征,并且存在低灵活性和高成本的缺点。基于表征学习(epresentation learning)的思想和单词嵌入(word embedding)的成功,DeepWalk被认为是第一种基于表征学习的图嵌入方法,它将SkipGram模型[Mikolov et al.,2013]应用于生成的随机游动。类似的方法还有node2vec[Grover and Leskovec,2016]、LINE[Tang et al.,2015]和TADW[Yang et al.,2015b]也取得了突破。然而,这些方法存在两个严重的缺点:

  1. 编码器中的节点之间没有共享参数,这导致了计算效率低下,因为这意味着参数的数量与节点的数量呈线性增长。
  2. 直接嵌入方法缺少泛化能力,不能处理动态图或泛化为新的图。

本文是清华大学刘知远老师团队出版的图神经书籍《Introduction to Graph Neural Networks》的部分内容翻译和阅读笔记。