图神经网络的历史
早在深度学习时代来临之前的2005年,图神经网络就已经出现了。一般来说,图神经网络旨在通过人工神经网络的方式将图和图上的节点(有时也包括边)映射到一个低维空间。也就是学习图和节点的低维向量表示。这个目标常被称为图嵌入或者图上的表示学习,反之,图嵌入和图表示学习并不仅仅包含图神经网络这一种方式。
早期的图神经网络采用递归神经网络,的方式。利用节点的邻接点和边递归的更新状态。直到到达不动点。当我们回头看这些模型,会惊奇的发现,它们和我们现在常用的模型已经非常接近了。但是很遗憾,由于模型本身的一些限制(例如,要求状态更新函数是一个压缩映射)和当时算力的不足,这些模型并灭有得到足够的重视。
谱域图神经网络
在基于不动点理论的递归图神经网络之后,图神经网络的发展史走上了另一条不同源却殊途同归的道路。随着卷积神经网络在图像处理和文本上的大规模流行。研究者门开始进行一些将卷积神经网络扩展到图结构上的尝试。为了解决空间领域的不规则性。
- Bruna等人从谱空间进行突破,提出了图上的谱网络,以及图谱理论的知识,它们吧图的拉普拉斯矩阵进行谱分解。并利用得到的特征值和特征向量在谱空间定义了卷积操作。它们还将此方法扩展到了大规模的实际数据的分类问题上,并研究了图结构没有预先给出的情况。但是,由此得到的网络计算复杂度很高,而且它们定义图卷积核依赖于拉普拉斯矩阵。所以没有办法扩展到其他图上。
- 为了解决复杂的问题,Defferrard等人提出了切比雪夫网络,将卷积核定义为多项式的形式,并且用切比雪夫展开来近似计算卷积核。大大提高了计算效率。
- Kipf和Welling简化了切比雪夫网络,只是用一阶乘近似的卷积核,并做了些许的符号变化,于是产生了我们所知的图卷积网络,图卷积网络可以被看作一个空域上的图卷积。
空域图神经网络
- 门控图神经网络 GGNN
- 该网络用门控循环单元GRU**,取代了递归神经网络的节点更新方式。**从而消除了压缩映射的限制。
- GraphSAGE:将图神经网络从直推式学习的模式扩展到了归纳式学习,并通过邻居采样的方式加速图神经网络在大规模图数据上学习。
- 图神经网络研究方兴未艾。除了不断提出更多的方式的图神经网络模型。研究者也开始研究关于图学习的更多方面,
*** 如何在没有标签的情况下进行无监督学习。 - 如何将图神经网络模型扩展到动态图,
- 如何更好的学习图的层次结构和池化。
- 如何根据已有的数据生成新的相似却不重复的图
- 如何在图上进行对抗攻击,**
图神经网络的分类
- 谱域上的神经网络和空域上的神经网络。
- 卷积模式和循环模式。
- 有监督和无监督。
- 有监督类别又常常分为归纳式和直推式学习。
- 归纳式模型不需要测试数据出现在训练中。
- 而直推式则是半监督的。训练过程中已经包含了测试数据。
- 单图和多图
图神经网络的应用
图数据上的任务
- 按照元素和层级划分
- 节点上的任务:节点的回归、分类和聚类等。
- 边上的任务:边的分类、链路预测等。
- 图上的任务:图的分类、图的生成、图的匹配等。
- 图的分类是基于图的表示整个图的性质进行预测。
应用领域
- 句子可以利用语法树来表示成图结构。从而获得更好的句子编码表示。
- 物理世界中的物体、交通网络中的传感器等,
都可以描述成图结构中的节点,从而用图神经网络预测它们的状态或者****它们之间的交互。 - 数据结构与算法也可以表示成图结构,然后对其进行建模和分析。
- 在知识图谱中,我们经常利用本来存在的关系推断出隐含的关系。
- 推荐系统:根据用户购买习惯对产品进行推断,可以看作一个异构图上的链路预测问题。
总结
会自己将这些知识应用于研究领域,并将其全部都搞定都行啦的样子与打算。