GCN是从CNN来的

CNN成功在欧式数据上:图像,文本,音频,视频
图像分类,对象检测,机器翻译

CNN基本能力:能学到一些局部的、稳定的结构,通过局部化的卷积核,再通过层级堆叠,将这些局部的结构变成层次化的、多尺度的结构模式。

图卷积神经网络实战 图卷积神经网络入门_邻域


卷积核的数学性质:平移不变性

非欧数据之图:
最大挑战——没有关于卷积的直观定义
本文主要解决:
①如何定义图上的convolution
②如何定义图上的pooling

  1. 如何定义图上的卷积
    1.1. 卷积是什么
    定义卷积,有两种方法——谱方法和空间方法,谱方法是空间方法的一个子集
    谱方法试图在图域(空间域)里而不是节点域定义卷积,但由于空间域不满足平移不变性,无法直接在空间域定义卷积,只好把图上的信号变换到谱域,在谱域实现卷积的定义,再变回空间域。
    空间方法仍然坚持在节点域直接定义卷积,面临的问题是每个节点的邻居间大小不同,不能定义一个大小相同的邻域,导致参数共享实现起来困难。基本思想还是一个节点即在其邻域节点上的加权平均。最大的挑战:参数共享。

1.2. 图卷积神经网络的输入输出

输入:一张图,由n个节点,边的集合与权重集合组成 G=(V,G,W) 每个节点有d维特征

特征矩阵X大小为nxd,X的每一列可以看成是定义在n个节点上的图

图卷积神经网络实战 图卷积神经网络入门_图卷积神经网络实战_02


图像拉普拉斯是做谱分析的基本工具

1.3. 谱方法的缺点
①需要做拉普拉斯矩阵的特征分解,很复杂
②计算复杂度大
③影响节点的信号不来自于节点的邻域,而来自于所有节点
后来都解决了,第三个:节点变成只受k跳邻居的影响

在此基础上改进一:
傅里叶变换变成小波变换
小波的优势
①稀疏
②localized(对应刚刚第三点)
③计算代价低

在此基础上改进二:没听懂

1.4.空间方法

第一派

图卷积神经网络实战 图卷积神经网络入门_图卷积神经网络实战_03


首先期望类比CNN解决

通过把CNN拆开来看,发现其分为3步:选择邻居->给邻居编号->参数共享

发现只有第一步需要利用平移不变性

图卷积神经网络实战 图卷积神经网络入门_图卷积神经网络实战_04


第二派 GraphSAGE

以自己为中心,随机行走,选出固定个数的点作为自己的邻居,再做聚合、拼接(已经不是GCN而是GNN)

第三派 简化GCN
每个节点的一阶邻居拿过来特征变换后聚合一下(也没有卷积操作)

第四派 GAT

1.5. 谱方法和空间方法的关系
前者是后者的特例,谱方法需要显式地定义卷积核,即要知道投射到哪个空间,傅里叶还是小波变换,空间方法不需要知道
谱方法只是有显示变换空间的空间方法